정의
LLM 포스트 트레이닝에서 강화 학습(Reinforcement Learning, RL)은 모델이 스스로 문제를 풀고(on-policy) 정확한 피드백을 통해 추론 패턴을 부상시키는 방법론이다. 이는 프리트레이닝에 의해 이미 낮은 확률로 존재하는 추론 능력을 선택적으로 강화하여 일반화 가능한 행동으로 전환한다.
핵심 속성
- On-Policy vs Off-Policy: On-Policy는 모델 자신이 행동하여 데이터를 생성하고 학습하는 방식. Off-Policy는 외부 전문가(인간 또는 다른 모델)의 데이터를 사용. On-Policy가 모델의 실제 능력에 맞춰 학습하므로 일반화에 유리.
- Credit Assignment Problem: 어떤 행동이 보상에 기여했는지 파악하는 문제. 보상이 희소하고 지연될수록(예: Montezuma’s Revenge 게임) 해결이 어려움. LLM에서는 전체 응답에 대해 최종 보상만 주어지므로 추론 과정의 세부 행동에 대한 신용 할당이 중요.
- 일반화 조건: 모델이 풀 수 있는 문제(computational budget 내)를 단계별로 분해하여 제시해야 일반화가 가능. 예: 2차 방정식을 근의 공식 단계로 나누어 풀게 함. 모델이 풀 수 없는 문제는 암기(오버피팅)로 이어짐.
- 추론 부상 메커니즘: Pre-training에서 추론 없이 응답하는 패턴이 지배적이나, 추론 + 정답인 경우의 보상이 비대칭적으로 큼 → RL을 통해 추론 패턴이 기하급수적으로 강화됨 (논문에 따르면 지수적 증가).
관계
- 20260602-rl-emergence-in-llm — 하위개념: 추론 부상의 구체적 메커니즘을 설명
- 20260602-on-policy-generalization — 연장: On-Policy가 일반화를 가능하게 하는 이유
- 20260602-mimicry-vs-self-experience — 대조: 인간 학습과의 유비를 통해 이해
인용
“추론을 생성할 확률이 있고 추론했을 때 답이 맞을 확률이 있습니다. … 추론할 확률이 굉장히 낮더라도 그 낮은 확률에 비해서 정답인 경우가 많으니까 그 정답에 대해서 더 부각되는 거죠. 강화 학습에 대해서는 강화 학습은 정답이냐 아니냐만 보니까요. 그러니까 정답을 가지고 평가하는 것 자체가 확률이 낮더라도 정답인 경우가 많으면 그 등장하는 확률보다 보상 강화를 더 강하게 받는 거죠.”