이 주장은 강화 학습(RL)이 어떻게 LLM에 추론 능력을 부여하는지에 대한 핵심 인사이트를 담고 있다. 단순히 “RL이 모델을 훈련시켜서 추론하게 한다”는 피상적 이해를 넘어, 사전 훈련된 모델 내부에 이미 존재하는 희미한 신호를 RL이 어떻게 확대 재생산하는지에 대한 메커니즘을 보여준다.
근거
원문에서 제시된 비대칭적 확률 상승 모델이 가장 강력한 근거다. 예를 들어, 모델이 추론을 생성할 확률이 1%에 불과하지만, 추론을 생성했을 때 정답일 확률이 20%라면, RL은 이 1%의 시퀀스에 대해 20%의 확률로 보상을 제공한다. 반면 추론 없이 답을 생성할 확률이 99%지만 정답률이 1%라면, RL은 거의 보상을 주지 않는다. 이런 비대칭은 추론 시퀀스의 확률을 지수적으로 증가시키고, 몇 단계의 RL만으로도 추론이 지배적인 패턴으로 부상하게 만든다.
“추론을 생성할 확률은 낮지만 추론이 생성될 확률에 비해서 정답일 확률은 높습니다. 강화 학습은 정답인 경우에 확률을 높여주는 거잖아요. 그러면 추론을 생성한 사례가 강화를 받겠죠.”
연결된 생각
- 20260606-rl-llm-reasoning-emergence — 이 인사이트의 기반이 되는 개념 구조
- chain-of-thought-prompting — 유사한 방식으로 모델 내부의 추론 패턴을 활성화하는 테크닉