LLM에 강화 학습을 적용할 때 ‘왜 직접 모델이 문제를 풀게 해야 하는가’라는 질문이 자주 나온다. 정답을 알고 있는 전문가(사람 또는 더 큰 모델)의 trajectory를 그대로 모방하여 학습시키는 off-policy 방식이 더 효율적으로 보이기 때문이다. 하지만 이 접근은 치명적인 오류를 낳는다.
문제는 모델과 전문가의 능력 차이다. 전문가가 A→B 경로로 성공했더라도, 모델이 아직 A→B로 갈 능력이 없다면 모델은 실제 환경에서 자신의 능력으로 갈 수 있는 A→C 경로로 가게 된다. 그런데 off-policy 학습에서는 A→B 경로만 학습했기 때문에 C 지점 이후의 상황을 전혀 대비하지 못한다. 결국 모델은 자신이 도달한 새로운 상태에서 ‘어떻게 행동해야 할지’를 알지 못하게 된다.
이것은 단순한 오버피팅 문제와 유사하다. 모델에게 풀 수 없는 문제를 주면, 모델은 데이터를 암기(overfitting)하는 방식으로 대응한다. 암기는 일반화를 불가능하게 만든다. 반면 on-policy RL은 모델이 자신이 실제로 수행 가능한 행동만으로 문제를 풀게 하고, 그 과정에서 얻은 경험으로 학습한다. 모델의 능력 범위 내에서 학습이 이루어지므로, 새로운 상황에서도 적용 가능한 일반화된 규칙(알고리즘)을 발견할 가능성이 높아진다.
이 원리는 단순히 기술적 선택을 넘어, 인간의 학습에도 그대로 적용된다. 자신의 능력 수준에 맞지 않는 해결책을 억지로 모방하는 것보다, 직접 시행착오를 겪으며 자신만의 해결 방식을 찾는 것이 더 깊은 일반화를 가져온다는 사실을 상기시킨다.
근거
“off-policy의 경우에는 어떤 전문가가 문제를 풀었다고 하면 그 전문가가 가지고 있는 능력은 모델이 갖고 있지 않을 수도 있잖아요. … 정작 모델이 할 수 있는 능력으로는 C 경로로 가야 하는데 C 경로로 가지 못하고 B 경로에 대해서만 학습을 하는 거죠. … 그렇기 때문에 모델이 할 수 있는 능력 내에서 문제를 풀게 하기 위해서는 on-policy여야 합니다.”
연결된 생각
- 20260606-rl-llm-reasoning-emergence — On-policy가 추론 패턴 발현의 핵심 조건임을 개념적 관계로 설명 (하위개념 관계)
- 20260606-reasoning-pattern-from-pretraining-to-rl — Pre-training의 한계와 RL의 역할을 on-policy 관점에서 연결 (연장)