정의
LLM 포스트 트레이닝에서 강화 학습(RL)은 프리트레이닝된 모델의 내재된 추론 능력을 발현시키고 일반화 가능한 패턴을 강화하는 방법론이다. 성공적인 RL은 모델이 스스로 생성한 경로(on-policy)와 정확한 피드백을 통해 암기 대신 일반화를 유도한다.
핵심 속성
- On-policy 필수: 모델이 자신의 현재 정책으로 생성한 데이터로 학습해야 일반화 가능. Off-policy(전문가 데이터 모방)는 모델의 실제 능력과 괴리가 생겨 일반화 실패.
- 모델이 풀 수 있는 문제: 문제의 연산 복잡도가 모델의 레이어 수·토큰 연산 한계 내에 있어야 암기 대신 알고리즘 학습 가능.
- 정확한 피드백: 오답을 정답으로 잘못 판단하면 일반화 불가능한 패턴(찍기)이 강화됨. 정확한 보상이 일반화 가능한 추론 경로를 상대적으로 더 강화.
- 프리트레이닝의 역할: Perplexity를 163,840→3.7 수준으로 축소, 추론 경로를 낮은 확률로 존재하게 함.
- RL의 비대칭적 강화: 추론 경로의 등장 확률은 낮지만 정답률이 높아, 보상이 등장 확률보다 더 크게 작용해 기하급수적으로 추론 행동을 부상시킴.
관계
- 20260606-rl-unlocks-pretrained-reasoning — 연장: RL이 추론을 깨우는 구체적 메커니즘
- 20260606-post-training-data-creation-advantage — 연장: 포스트 트레이닝의 경쟁력 원천
인용
“프리트레이닝을 통해서 말도 안 되는 토큰들은 다 쳐내고 선택지를 줄여주는 거죠… 실제로 모델이 추론할 때… 거의 대부분의 토큰들은 다 파란색이에요.”