강화 학습에서 일반화를 달성하기 위한 결정적인 조건은 “모델이 스스로 풀 수 있는 문제로 학습하는 것”이다. Off-Policy로 전문가의 데이터를 모방하면, 모델이 아직 갖추지 못한 능력을 요구하는 상황이 발생하여 오버피팅(암기)으로 이어진다. 반면 On-Policy 학습은 모델이 직접 시행착오를 겪으며 자신의 능력 범위 내에서 문제를 풀게 한다. 이때 모델의 연산 능력에 맞는 문제(예: 충분한 레이어 수, 충분한 시퀀스 길이)를 주어야 일반화 가능한 알고리즘을 학습할 수 있다. 이는 인간의 학습에도 그대로 적용된다. 모방만으로는 한계가 있으며, 스스로 경험하며 일반화해야 진정한 능력이 생긴다.
근거
원문은 on-policy와 off-policy의 차이를 자율주행 비유로 설명하며, 모델이 풀 수 없는 문제를 강요하면 암기로 빠진다고 지적한다.
“모델이 풀 수 있는 문제를 줘야 한다… on-policy여야 한다… off-policy의 경우 전문가의 능력과 모델의 능력이 달라 일반화 실패.”
연결된 생각
- 20260606-on-policy-rl-for-llm-reasoning — 상위 개념: On-Policy RL의 일반화 메커니즘
- 20260606-accurate-reward-feedback-supports-generalization — 연장: 정확한 보상이 일반화 패턴을 선택하는 방법