Off-policy 학습(전문가 데이터를 모방)은 겉보기에 효율적이지만 치명적인 함정이 있다. 전문가의 능력과 모델의 능력이 다를 때, 모델은 실제로는 풀 수 없는 경로를 따라 학습하게 된다. 자율주행 비유로 말하면, 인간이 완벽하게 주행한 궤적을 모델이 모방했지만, 모델의 센서나 판단 능력이 부족해 실제 상황에서는 다른 길로 가버리는 경우다. On-policy RL은 모델이 직접 시행착오를 겪으며 자신의 능력 범위 내에서 해결책을 찾도록 강제한다. 이 과정에서 모델은 ‘자신이 풀 수 있는 문제’만을 학습하므로, 학습된 패턴이 실제 환경에서도 일반화된다. 이는 단순한 모방을 넘어 스스로 문제를 해결하는 진정한 능력을 키우는 유일한 경로다.
근거
“off-policy의 경우 전문가의 능력을 모델이 갖고 있지 않으면 무조건 B 경로만 보게 됨… 정작 모델이 할 수 있는 능력으로는 C 경로로 가야 하는데 C 경로에 대해서만 학습을 하는 거죠. … on-policy여야 모델이 자기 능력에 따라서 문제를 풀게 하기 위해서 … 모델이 직접 문제를 풀어보고 자기의 방식으로 문제를 푼 다음에 거기에 대해서 보상을 얻고 학습을 해야 하는 거죠.”
연결된 생각
- 20260605-post-training-rl-principles — on-policy가 핵심 속성으로 포함됨
- 20260605-pretraining-compresses-rl-amplifies — on-policy 환경에서 추론 패턴이 증폭되는 메커니즘