많은 연구자가 LLM 강화 학습을 접할 때 가장 혼란스러워하는 지점 중 하나가 ‘왜 온-폴리시여야 하는가’이다. 이에 대한 명쾌한 답을 팟캐스트에서 찾을 수 있었다. 오프-폴리시(예: 인간 전문가의 궤적 모방)는 전문가의 능력이 모델의 실제 능력과 다를 때 심각한 일반화 실패를 초래한다. 모델이 스스로 갈 수 없는 B 경로를 강제로 학습하면, 실제 환경에서는 막다른 골목(C 경로)에 도달하게 된다. 반면 온-폴리시 학습은 모델이 자신의 현재 역량 안에서 시행착오를 겪으며 문제를 풀고, 그 경험을 통해 일반화 가능한 패턴을 발견하도록 만든다. Jason Wei의 말처럼, 인간도 결국 모방을 넘어 자기 조건에 맞는 온-폴리시 경험 없이는 진정한 일반화에 도달할 수 없다. 이는 LLM RL의 본질적인 조건이다.
근거
“모델이 할 수 있는 능력 내에서 문제를 풀게 하기 위해서는 on-policy여야 합니다. 모델이 직접 문제를 풀어보고 모델이 자기의 방식으로 문제를 푼 다음에 거기에 대해서 보상을 얻고 학습을 해야 하는 거죠.” “사람도 결국은 갖춘 능력이 다 다르죠. 그 주어진 조건에 대해서 성공적인 선택을 하기 위해서는 더 이상 모방할 수 없는 지점이 있고, 그 지점에서 on-policy를 할 수밖에 없습니다.”
연결된 생각
- 20260607-accurate-reward-selects-generalization — 온-폴리시 환경에서 정확한 보상이 중요해지는 이유
- 20260607-rl-amplifies-existing-reasoning — 온-폴리시가 기존 추론 패턴을 효과적으로 증폭시키는 방식
- 20260607-rl-in-llm-post-training — 온-폴리시 조건의 개념적 정의와 관계