프리트레이닝된 LLM은 이미 추론 능력의 씨앗을 가지고 있지만, 대부분의 경우 충동적으로 답변하는 패턴이 지배적이다. 강화 학습은 이 잠재된 추론 패턴을 선택적으로 강화하여 지배적인 행동으로 만든다. 중요한 것은 RL이 새로운 능력을 ‘창조’하는 것이 아니라 이미 존재하는 미세한 신호를 증폭한다는 점이다. 이는 마치 노이즈 속에서 약한 신호를 잡아내는 과정과 같다.
근거
김성현의 설명에 따르면, LLM은 프리트레이닝을 통해 ‘생각한 후 답하는’ 패턴을 아주 낮은 확률로 학습한다. 추론하지 않고 바로 답할 확률이 훨씬 높지만, 추론했을 때 정답일 확률이 더 높다. 강화 학습이 정답에 보상을 주면 이 비대칭성 때문에 추론 패턴이 기하급수적으로 부상한다. “추론할 확률이 굉장히 낮더라도 그 낮은 확률에 비해서 정답인 경우가 많으니까 그 정답에 대해서 더 부각되는 거죠.”
연결된 생각
- 20260602-rl-for-llm-on-policy-and-inference-emergence — 개념적 기반: On-Policy 조건과 일반화 조건
- 20260602-mimicry-vs-self-experience — 유비: 인간도 모방을 넘어 자기 경험을 통해 자신만의 능력을 발현함