많은 사람들이 LLM을 더 똑똑하게 만들기 위해 전문가가 작성한 정답 데이터로 미세 조정(SFT)하면 충분하다고 생각한다. 그러나 이는 off-policy 학습의 함정에 빠질 위험이 있다. 전문가(사람)가 문제를 푸는 방식과 모델이 실제로 문제를 푸는 능력은 다르다. 모델이 아직 풀지 못하는 문제를 전문가 데이터로 학습시키면, 모델은 그 문제를 “암기”하려 들고, 결과적으로 일반화 능력을 얻지 못한다. 반면, on-policy RL에서는 모델이 스스로 문제를 풀어보고 보상을 받는다. 모델이 현재 가진 능력으로 해결 가능한 문제만 다루기 때문에, 모델은 자연스럽게 일반화 가능한 추론 패턴을 학습한다. 이는 교육에서도 유사하다. 학생에게 교사의 풀이를 그대로 따라 하게 하는 것보다, 학생이 스스로 문제를 풀어보고 피드백을 받는 것이 더 효과적인 것과 같다. Kimi K2와 DeepSeek R1이 SFT가 아닌 RL로 추론 능력을 극대화한 이유가 여기에 있다.
근거
“모델이 일반화를 할 수 있게 하려면 모델에게 모델이 풀 수 있는 문제를 줘야 한다… on-policy여야 합니다. … 모델이 직접 문제를 풀어보고 모델이 자기의 방식으로 문제를 푼 다음에 거기에 대해서 보상을 얻고 학습을 해야 하는 거죠.”
연결된 생각
- 20260607-rlvr-llm-reasoning-emergence — 상위개념: on-policy는 RLVR의 핵심 속성
- 20260607-reasoning-ability-exists-in-pretraining-rl-amplifies — 연장: on-policy RL이 추론 능력을 발현시키는 구체적 메커니즘