정의
포스트 트레이닝 단계에서 강화 학습(RL)이 LLM의 추론 능력을 발현시키는 메커니즘과, 일반화가 가능하기 위해 필요한 조건(On-policy, 모델이 풀 수 있는 문제, 정확한 피드백)을 설명한다. Kimi K2와 DeepSeek R1 사례를 통해 RL 레시피의 중요성을 드러낸다.
핵심 속성
- 학습 패러다임: On-policy RL — 모델이 스스로 행동(토큰 생성)한 결과에 대해 보상을 받고 확률을 조정. Off-policy(전문가 데이터 모방)는 모델과 전문가의 능력 불일치로 일반화 실패.
- 일반화 조건: (1) 모델이 풀 수 있는 문제 제공 (연산량이 단계별로 분산되어야 함). (2) On-policy 학습으로 모델의 실제 능력 범위 내에서 탐색. (3) 정확한 피드백(정답/오답 판별)이 일반화 가능한 패턴을 강화하고 암기 패턴을 억제.
- 추론 발현 과정: 프리트레이닝에서 CoT(Chain-of-Thought) 생성 확률은 낮지만, CoT로 생성된 답이 정답일 확률이 높아 RL이 이 희소 패턴을 지수적으로 증폭시킴.
- 데이터 창조: 프리트레이닝이 기존 데이터의 패턴을 압축하는 반면, 포스트 트레이닝 RL은 새로운 해법을 창조하여 인간 수준을 초월할 가능성을 제공.
관계
- 20260606-sft-limitations — SFT의 한계: 할루시네이션과 모방 학습의 문제
- 20260606-deepseek-r1-reasoning — DeepSeek R1의 추론 학습 사례 (구조 최소화, 보상만 제공)
- 20260606-credit-assignment — Credit Assignment Problem: 어떤 행동이 보상에 기여했는지 판별의 어려움
- 20260606-on-policy-off-policy — On-policy와 Off-policy의 개념적 차이와 LLM 적용
인용
“추론을 생성하지 않고 답을 맞힐 확률은 대체로 암기에 의한 가능성이고… 일반화 가능한 패턴으로 모델이 나아가는 겁니다. RL을 통해서.” — 김성현