LLM 학습에서 off-policy(전문가 데이터 모방)는 치명적인 함정을 가진다. 전문가가 가진 능력을 모델이 갖추지 못했을 때, 모델은 그 능력을 전제로 한 데이터를 암기하게 되어 할루시네이션과 일반화 실패로 이어진다. 반면 on-policy RL은 모델이 자기 현재 능력으로 문제를 풀게 하여 진정한 일반화를 촉진한다. 이는 자율주행 비유에서 명확해진다. 인간 운전 데이터를 모방한 모델은 인간의 코스로 가는 법을 알지만, 자신의 한계로 인해 다른 경로로 가게 되면 막힌다.
근거
화자는 2차 방정식 예시를 들어 설명한다. 모델이 한 번에 풀 수 없는 문제(연산량 부족)를 주면 암기로 대처한다. 하지만 문제를 단계별로 분해하면 각 단계가 모델의 계산 능력 내에 들어와 일반화가 가능해진다. “모델이 풀 수 있는 문제를 주는 것”이 일반화의 핵심 조건이며, on-policy 학습이 이 조건을 자연스럽게 만족시킨다.
연결된 생각
- 20260602-rl-for-llm-on-policy-and-inference-emergence — 추론 부상 메커니즘과의 연결
- 20260602-rl-emergence-in-llm — RL이 추론을 발현시키는 과정은 on-policy 조건에서만 가능
- 20260602-mimicry-vs-self-experience — 인간의 학습에서 on-policy의 중요성