정의
LLM 후학습(post-training) 단계에서 강화 학습(RL)은 모델이 프리트레이닝을 통해 이미 낮은 확률로 지니고 있던 추론 능력을 증폭시키는 핵심 메커니즘이다. 정확한 보상 피드백과 온-폴리시(on-policy) 학습 조건 아래에서 일반화 가능한 추론 패턴이 지수적으로 부상하게 된다.
핵심 속성
- RL의 목표: 환경 속에서 에이전트(LLM)가 보상을 최대화하도록 행동(다음 토큰 생성)을 학습하는 것. LLM에 적용될 때 보상 함수는 주로 정답 일치(Reward Model 또는 규칙 기반)로 정의된다.
- 크레딧 할당 문제(Credit Assignment Problem): 긴 시퀀스 중 어떤 행동이 보상에 기여했는지 식별하는 어려움. 특히 보상이 희소할 때(Montezuma’s Revenge 게임 사례) 더욱 두드러진다.
- 온-폴리시 필수성: 모델이 스스로 행동하여 생성한 데이터로 학습해야 일반화가 가능하다. 오프-폴리시(예: 전문가 궤적 모방)는 모델의 실제 능력과 괴리가 있어 분포 외 일반화에 실패한다.
- 보상 정확성의 중요성: 정답을 엄격하게 판단할수록 암기 기반 패턴(찍어서 맞힘)보다 일반화 가능한 추론 패턴이 상대적으로 더 강화된다.
- 프리트레이닝의 역할: 가능성의 공간(perplexity)을 극적으로 축소하여, 의미 있는 시퀀스만 남긴다. 이로 인해 추론 토큰(특히 엔트로피가 높은 분기점)에 탐색 초점이 집중된다.
- 추론 능력의 창발: 약한 모델이 낮은 확률로 생성하던 추론 시퀀스가, RL을 통해 지수적으로 확대되어 주류 패턴으로 자리잡는다.
관계
- 20260607-rl-amplifies-existing-reasoning — RL이 기존 추론 능력을 증폭시키는 메커니즘의 인사이트
- 20260607-accurate-reward-selects-generalization — 정확한 보상이 일반화 패턴을 선택하는 효과
- 20260607-importance-of-on-policy-rl — 온-폴리시 RL이 LLM에 필수적인 이유
- 20260605-pretraining-perplexity — 프리트레이닝과 퍼플렉서티의 역할 (존재한다고 가정)
인용
“추론을 생성한 경우에 보상을 더 강하게 받는다. 추론을 생성할 확률이 1%인데 보상은 2%만큼 받는다면, 그 차이가 기하급수적으로 증폭된다.” “모델이 풀 수 있는 문제를 풀게 하는 것, 이것이 일반화의 핵심이다. 단순히 모델을 작게 만드는 것이 아니라 알고리즘을 학습할 수 있는 역량을 갖추게 하는 것이 중요하다.” “온-폴리시여야 한다. 다른 전문가가 푼 방식을 모방하는 오프-폴리시는 모델이 실제로 갈 수 없는 길을 강제로 학습시키기 때문에 막다른 골목에 도달한다.”