전문가가 만든 데이터로 모델을 학습시키는 Off-policy 방식은 겉보기에 효율적이지만, 모델이 실제로 가진 능력과 전문가의 능력 사이의 괴리 때문에 일반화에 실패한다. 자율주행 비유에서, 인간 운전자의 주행 경로를 학습한 모델은 자신이 그 경로를 따라갈 능력이 없으면 전혀 다른 상황에 직면하여 붕괴한다. 반면 On-policy RL은 모델이 자신의 현재 능력으로 직접 행동하고 보상을 받으며 학습하기 때문에, 모델이 실제로 풀 수 있는 문제를 푸는 방식을 배우게 된다. 이는 오버피팅을 방지하고 알고리즘 수준의 일반화를 촉진한다. 정확한 피드백(정답/오답 판별)이 더해지면 암기 패턴보다 일반화 가능한 추론 패턴이 강화된다. 이 통찰은 단순히 LLM 학습을 넘어, 인간의 교육과 학습에도 시사점을 준다. 타인의 방법을 그대로 모방하는 Off-policy 학습이 아닌, 자신의 환경과 능력에 맞춰 시행착오를 겪는 On-policy 경험이 진정한 성장을 이끈다.
근거
“On-policy여야 합니다. Off-policy의 경우에는 어떤 전문가가 문제를 풀었다고 하면 그 전문가가 가지고 있는 능력은 모델이 갖고 있지 않을 수도 있잖아요. 그러면 앞서 보여드렸던 것처럼 무조건 B 경로만 보게 되는 것과 마찬가지입니다. … 그렇기 때문에 모델이 할 수 있는 능력 내에서 문제를 풀게 하기 위해서는 On-policy여야 합니다.”
연결된 생각
- 20260606-post-training-rl-generalization-conditions — On-policy 조건과 일반화의 관계
- 20260606-data-creation-as-competitive-edge — 포스트 트레이닝에서 데이터 창조의 중요성