LLM이 프리트레이닝만으로는 추론 능력을 거의 보이지 않는 이유는, 인터넷 데이터에 중간 과정 없이 곧바로 정답을 내는 패턴이 압도적으로 많기 때문이다. 하지만 희박하게 존재하는 Chain-of-Thought 패턴은 정답을 맞출 확률이 훨씬 높다. RL은 이 비대칭성을 이용한다. 정답만 판단하는 보상 함수는 CoT를 생성한 경우에 더 자주 보상을 주므로, 낮은 확률의 CoT 패턴이 지수적으로 빠르게 부상하게 된다. 이는 마치 유전 알고리즘에서 유용한 변이가 선택 압력에 의해 빠르게 퍼져나가는 것과 유사하다. 중요한 점은 이 과정에서 모델이 기존에 가지고 있던 단편적인 능력들을 조합하여 새로운 해법을 창조한다는 것이다. Kimi K2의 200~300개 tool use 능력도 이러한 조합의 창발로 설명될 수 있다. 따라서 LLM의 추론 능력은 완전히 새로운 것이 아니라, 이미 내재된 가능성을 RL이 현실화한 결과라고 볼 수 있다.
근거
“추론을 생성할 확률이 있고 추론했을 때 답이 맞을 확률이 있습니다. … 추론을 생성할 확률은 낮지만 추론이 생성될 확률에 비해서 정답일 확률은 높습니다. 강화 학습은 정답인 경우에 확률을 높여주는 거잖아요. 그러면 추론을 생성한 사례가 강화를 받겠죠.”
연결된 생각
- 20260606-post-training-rl-generalization-conditions — RL이 추론 패턴을 증폭시키는 조건
- 20260606-deepseek-r1-reasoning — DeepSeek R1의 사례: 최소한의 구조로 추론 발현