SFT(지도 학습)가 할루시네이션을 만드는 이유는 이것이다: 전문가가 풀 수 있는 문제를 모델이 못 풀 때, 모델은 그 경로를 학습할 수 없다. 대신 “일단 응답하자”는 행동 양식을 배운다. 이게 off-policy의 함정이다. 전문가의 경로(B)를 학습했지만 모델은 C로 가고, C 이후는 완전히 처음 보는 분포가 된다.
근거
RL이 일반화에 성공하려면 세 조건이 필요하다: (1) 모델 능력 범위 내의 문제 제공, (2) on-policy — 모델 스스로 풀어보고 피드백 받기, (3) 정확한 reward signal. SFT는 이 중 (2)를 위반한다.
“모델이 할 수 있는 능력 내에서 강화 학습을 한 거니까요. 만약 모델이 풀 수 없는 방식으로 문제를 푸는 게 아니라요. (…) 그렇기 때문에 on-policy여야 합니다.”
Jason Wei(OpenAI → Meta)는 이걸 인생에도 적용한다: 다른 사람의 성공 경로는 자신의 능력·환경과 맞지 않는다. 진정한 일반화는 스스로 시도하고 보상을 얻는 on-policy 경험에서만 나온다.
연결된 생각
- 20260602-rl-amplifies-latent-reasoning-in-llm — 기술적 맥락: on-policy 조건이 RL 성공의 전제
- 20260602-if-you-cant-imagine-the-eval-dont-start-the-project — 연결: evaluation 없는 학습은 방향이 없다