이 주장은 프리트레이닝된 LLM이 이미 추론할 능력을 가지고 있지만, 그 확률이 극히 낮다는 점에서 비롯된다. 대부분의 경우 모델은 충동적으로 바로 답을 내지만, 아주 드물게 사고 과정을 거쳐 정답에 도달하는 경로도 존재한다. 강화 학습은 정답에 대한 보상을 통해 이 비대칭성을 이용해, 등장 확률이 낮은 추론 경로를 선택적으로 강화하여 지수적으로 부상시킨다. 이는 프리트레이닝의 방대한 데이터에서 암묵적으로 학습된 추론 패턴을 명시적으로 활성화하는 과정이다.
근거
“추론을 생성할 확률이 있고 추론했을 때 답이 맞을 확률이 있습니다… 실제 등장 확률은 1%인데 강화는 2% 수준으로 받는다… 2가 4가 되고 기하급수적으로 늘어난다.”
연결된 생각
- 20260606-rl-post-training-conditions — 근거를 체계화한 wiki 개념 노트