많은 연구자가 LLM 강화 학습을 접할 때 가장 혼란스러워하는 지점 중 하나가 ‘왜 온-폴리시여야 하는가’이다. 이에 대한 명쾌한 답을 팟캐스트에서 찾을 수 있었다. 오프-폴리시(예: 인간 전문가의 궤적 모방)는 전문가의 능력이 모델의 실제 능력과 다를 때 심각한 일반화 실패를 초래한다. 모델이 스스로 갈 수 없는 B 경로를 강제로 학습하면, 실제 환경에서는 막다른 골목(C 경로)에 도달하게 된다. 반면 온-폴리시 학습은 모델이 자신의 현재 역량 안에서 시행착오를 겪으며 문제를 풀고, 그 경험을 통해 일반화 가능한 패턴을 발견하도록 만든다. Jason Wei의 말처럼, 인간도 결국 모방을 넘어 자기 조건에 맞는 온-폴리시 경험 없이는 진정한 일반화에 도달할 수 없다. 이는 LLM RL의 본질적인 조건이다.

근거

“모델이 할 수 있는 능력 내에서 문제를 풀게 하기 위해서는 on-policy여야 합니다. 모델이 직접 문제를 풀어보고 모델이 자기의 방식으로 문제를 푼 다음에 거기에 대해서 보상을 얻고 학습을 해야 하는 거죠.” “사람도 결국은 갖춘 능력이 다 다르죠. 그 주어진 조건에 대해서 성공적인 선택을 하기 위해서는 더 이상 모방할 수 없는 지점이 있고, 그 지점에서 on-policy를 할 수밖에 없습니다.”

연결된 생각

출처

클리핑 · 유튜브