인간이 작성한 데이터를 학습하는 SFT(Supervised Fine-Tuning) 방식은 근본적으로 ‘인간의 수준’을 천장으로 설정한다. 모델이 전문가의 궤적을 그대로 따라가는 Off-Policy 학습은 데이터 효율성은 높을지언정, 모델 자신이 처한 고유한 계산적 한계와 맥락 내에서 최적의 해법을 찾는 ‘자기만의 지능’을 발달시키지 못한다. 진정한 초인적 지능(Superhuman Intelligence)은 모델이 직접 환경에 부딪히며 자신의 방식대로 보상을 쟁취하는 On-Policy 강화 학습을 통해서만 창발될 수 있다.
근거
자율주행의 비유를 들면, 인간의 운전 기록을 모사하는 모델은 자신이 한 번도 경험하지 못한 상황(Out-of-distribution)에 직면했을 때 급격히 붕괴한다. 반면 강화 학습은 목적지 도달이라는 보상만을 목표로 스스로 주행법을 터득하기에 인간이 미처 생각하지 못한 경로를 발견할 수 있다.
“인간이 만든 데이터를 모사하면 결국 인간 수준의 성능이 목표가 된다. 강화 학습은 모델이 직접 방법을 찾게 만듦으로써 초인적 성능에 도달할 수 있는 유일한 방법이다.”
연결된 생각
- 20260605-rl-based-reasoning-modeling — 강화 학습을 통한 추론 능력의 구체적 발현 방식
- DeepSeek-R1-Inspiration — 순수 강화 학습만으로 추론 능력이 창발된 실제 사례