이 주장은 흔한 오해를 깬다. 많은 사람들은 강화 학습이 LLM에게 처음으로 추론 능력을 심어준다고 생각한다. 하지만 실제로는 프리트레이닝을 통해 모델은 이미 추론하는 법을 조금 알고 있으며, RL은 그 확률을 극적으로 높이는 촉매제 역할을 한다. 김성현 님의 분석에 따르면, LLM이 ‘뉴턴의 탄생 연도가 홀수인가?’ 같은 질문을 받았을 때 즉시 ‘짝수’라고 대답할 확률이 가장 높지만, 드물게 ‘1643년이니 홀수다’라는 추론 과정을 거치는 경우도 존재한다. 이 낮은 확률의 추론 경로가 정답일 확률이 훨씬 높기 때문에, RL은 보상 신호를 통해 이 경로를 선택적으로 강화하고, 결과적으로 추론 확률이 지수적으로 증가하게 된다.
근거
“추론을 생성할 확률은 낮지만 추론이 생성될 확률에 비해서 정답일 확률은 높습니다. 강화 학습은 정답인 경우에 확률을 높여주는 거잖아요. 그러면 추론을 생성한 사례가 강화를 받겠죠.” “프리트레이닝을 통해서 말도 안 되는 토큰들은 다 쳐내고 선택지를 줄여줍니다. 엔트로피가 높은 토큰(분기점)이 추론의 핵심입니다.”
연결된 생각
- 20260607-accurate-reward-selects-generalization — 정확한 보상이 어떻게 일반화 가능한 추론 패턴을 선택하는지 설명
- 20260607-rl-in-llm-post-training — 이 개념을 체계적으로 정리한 위키 노트
- 20260605-emergent-reasoning-in-llms — 추론 능력의 창발에 관한 일반 논의 (존재한다고 가정)