전문가를 모방하는 지도 학습(SFT)은 학습 대상을 뛰어넘을 수 없는 ‘모방의 천장’을 형성한다. 반면 강화 학습(RL), 특히 모델 스스로 시도하고 보상받는 On-policy 방식은 인간조차 인지하지 못한 최적의 경로를 모델이 직접 발견하게 함으로써 초인적인 성능(Superhuman Performance)을 가능케 한다.
근거
인간 전문가가 작성한 정답 데이터를 학습하는 것은 데이터 효율적이지만, 모델은 자신이 가보지 못한 경로(Off-policy)에 대해 ‘모른다’고 말하기보다 ‘아는 척’하며 할루시네이션을 일으킬 위험이 크다. 반면 모델이 자신의 역량 내에서 시도한 결과에 대해 정확한 정답 여부(보상)를 피드백받으면, 모델은 암기가 아닌 일반화된 알고리즘을 스스로 구축하게 된다.
“인간 수준의 지능은 모방으로 가능할지 모르나, 초인적인 지능은 모델이 스스로 바둑을 두는 방법을 찾는 알파고처럼 자기 발견의 과정을 거쳐야만 한다.”
연결된 생각
- 20260605-kimi-k2-reinforcement-learning-reasoning — 이 통찰이 적용된 실제 모델 케이스
- 20260605-reasoning-is-about-computable-steps — 자기 발견의 도구로서의 추론 단계