Jason Wei의 이야기는 LLM의 학습과 인간의 학습 사이에 놀라운 평행선을 그린다. 인간도 처음에는 모방(off-policy, 전문가 데이터)으로 시작하지만, 결국 자신만의 능력과 환경에 맞는 행동을 스스로 시도(on-policy)해야 일반화된 성공 패턴을 얻을 수 있다는 것이다. LLM에서 off-policy가 실패하는 이유는 전문가(사람이나 보상 모델)의 능력을 모델이 가지고 있지 않을 때, 모델은 풀 수 없는 문제를 억지로 암기하게 만들어 오버피팅이 발생하기 때문이다.
반면 on-policy RL은 모델이 자신의 현재 능력으로 문제를 풀게 한다. 모델이 직접 추론 경로를 생성하고, 정확한 피드백(정답 여부)만을 보상으로 주면, 일반화 가능한 추론 패턴만 선택적으로 강화된다. 이는 마치 사람이 자전거 타는 법을 배울 때 코치의 이론을 듣는 것(off-policy)보다 직접 넘어지고 일어서며(on-policy) 익히는 것이 더 효과적인 것과 같다.
이 통찰은 교육과 자기계발에도 시사점을 준다. ‘좋은 예시’를 따라 하는 것만으로는 한계가 있다. 결국 자신의 능력과 환경에 맞춰 스스로 시도하고, 정확한 피드백(성공/실패)을 통해 일반화 가능한 전략을 발견해야 한다. LLM의 on-policy RL은 이 근본적인 학습 원리를 기계에 구현한 사례다.
근거
“사람도 처음에는 모방하는 것으로 학습하죠… 그런데 사람도 결국은 갖춘 능력이 다 다르잖아요. 그 주어진 조건에 대해서 성공적인 선택을 하기 위해서는 더 이상 모방할 수 없는 영역, 지점이 있고 그 모방할 수 없는 지점에서 on-policy를 할 수밖에 없다.”
연결된 생각
- 20260607-llm-reasoning-on-policy-rl — 온-정책 RL의 개념과 조건을 정의한 위키 노트
- 20260607-pretraining-compresses-search-space-rl-amplifies-reasoning — 프리트레이닝과 RL의 협력 메커니즘을 다룬 가든 노트