이 명제는 지도 학습(SFT)과 강화 학습(RL)의 근본적인 차이를 명확히 해준다. SFT는 인간 전문가의 해법을 모방하지만, 모델이 아직 학습하지 못한 능력을 강제하여 암기와 할루시네이션을 유발한다. 반면 on-policy RL은 모델의 현재 역량 내에서 탐색하고 실패하게 함으로써 진정한 일반화를 가능하게 한다.
근거
원문에서 사용된 자율주행 비유가 가장 직관적인 근거다. 인간의 운전 데이터를 모방하는 지도 학습은 인간 수준을 넘기 어렵다. 반면 RL로 직접 주행 경험을 쌓게 하면 초인적 성능에 도달할 수 있다. 또한 off-policy의 문제점: 전문가가 A→B 경로로 갈 때, 모델이 A→C로 가는 능력밖에 없다면 전문가 데이터는 쓸모없고 오히려 모델이 C에서 길을 잃게 만든다. on-policy는 모델이 실제로 갈 수 있는 C 경로를 탐색하고 보상을 받아 일반화를 학습하게 한다.
“모델이 할 수 있는 능력 내에서 문제를 풀게 하기 위해서는 on-policy여야 합니다. 모델이 직접 문제를 풀어보고 모델이 자기의 방식으로 문제를 푼 다음에 거기에 대해서 보상을 얻고 학습을 해야 하는 거죠.”
연결된 생각
- 20260606-rl-llm-reasoning-emergence — 이 원리를 적용한 추론 발현 메커니즘
- supervised-fine-tuning-limitations — SFT의 한계에 대한 대조적 관점