정의
On-Policy 강화학습(RL)은 인공지능 에이전트가 외부 전문가의 궤적(Off-Policy)을 맹목적으로 모방하는 대신, 자신의 현재 연산 역량과 파라미터 한계 내에서 직접 시행착오를 겪으며 일반화 가능한 문제 해결 경로(알고리즘)를 탐색하고 보상받는 학습 방법론이다.
핵심 속성
- 능력의 정렬(Capability Alignment): 모델이 수행할 수 없는 난이도의 결과물을 억지로 암기(Overfitting)하게 만들지 않고, 직접 중간 단계를 쪼개어 접근할 수 있는 구조 내에서 문제를 풀게 함으로써 범용성을 확보한다.
- 오답에 대한 가혹한 판별: 결과에 대해 정답 여부만을 철저하게 피드백함으로써, 운 좋게 찍어 맞추거나 패턴 없이 암기한 궤적의 확률 상승을 억제한다.
- 기하급수적 경로 증폭: 프리트레이닝 단계에서 형성되었으나 발현 확률이 매우 낮았던 ‘단계적 추론 후 정답 도출’ 궤적이, 연속된 보상을 통해 확률적으로 기하급수적 증폭을 일으키며 지배적인 행동 양식으로 자리 잡는다.
관계
- Chain-of-Thought — 단일 토큰에 가해지는 연산 부하를 다수의 토큰으로 분산시켜 모델이 풀 수 있는 난이도로 전환하는 메커니즘
- off-policy-learning — 대조. 타인의 완벽한 궤적을 모방하지만, 에이전트 본인의 능력과 불일치할 경우 낯선 궤도(C 지점 이탈)에서 복구할 수 없는 할루시네이션을 유발함
- reinforcement-learning-from-human-feedback — LLM을 인간의 선호도와 정렬시키기 위해 보상 모델을 도입했던 초기 단계의 강화학습 방법론
인용
“전문가가 Off-Policy로 행동한 과정을 가지고 배웠는데… 모델은 B라는 지점으로 갈 수 있는 능력이 아직 없는 겁니다. C라는 지점으로 가버려요. 자기가 처음 보는 상황이 발생하는 거죠. 여기서부터 문제를 풀 수 없게 되는 겁니다.”