전문가가 작성한 정답 데이터를 모사하는 지도 학습(SFT, Off-policy)은 모델을 인간 수준으로 정렬시키는 데 효과적이지만, 근본적으로 인간의 한계를 넘어서기 어렵다. 모델은 인간 전문가가 아닌 별개의 에이전트이며, 모델이 도달할 수 없는 ‘인간만의 경로’를 강요받을 때 할루시네이션이 발생한다. 반면, 보상 시스템을 통해 모델 스스로 최적의 경로를 찾게 하는 On-policy 강화 학습은 모델이 자신의 역량 내에서 가장 효율적인 해결책을 ‘발견’하게 함으로써 초인적인 성능에 도달하게 한다.
근거
지도 학습에서 모델은 자신이 모르는 질문에도 일단 응답하는 ‘행동 양식’을 배우게 되어 할루시네이션이 유도된다. 하지만 강화 학습은 정답 여부에 대한 피드백만을 제공하므로, 모델이 정답에 도달하는 자신만의 알고리즘을 구축하게 한다.
“모방이라는 것은 인간보다 못할 가능성이 높다. 강화 학습은 그 방법을 직접 모델이 찾도록 만드는 것이기 때문에 인간의 수준을 뛰어넘을 가능성이 생긴다.”
연결된 생각
- 20260611-kimi-k2-model — 이러한 온폴리시 강화 학습 전략을 극단적으로 밀어붙여 성공한 실제 사례.
- 20260611-cot-computation-efficiency — 온폴리시 학습이 추론 토큰을 통해 어떻게 구체화되는지에 대한 메커니즘.