정의
LLM의 추론 능력(Chain-of-Thought)은 프리트레이닝 단계에서 낮은 확률로 이미 학습되어 있으며, On-Policy 강화 학습(RL)을 통해 이 패턴이 급격히 부상하도록 하는 학습 원리. On-Policy 학습과 정확한 보상 피드백이 일반화 가능한 추론 패턴을 강화하는 핵심 메커니즘.
핵심 속성
- On-Policy 학습: 모델이 직접 시행착오를 겪으며 자기의 능력 범위 내에서 문제를 풀고, 그 경험으로 학습. Off-Policy(전문가 데이터 모방)와 달리 모델이 풀 수 없는 문제를 강요하지 않음.
- 정확한 보상 피드백: 정답 여부를 엄격히 판단하여 일반화 가능한 패턴(추론을 통한 정답)에만 보상을 강화하고, 암기 기반 찍기 패턴을 억제.
- 프리트레이닝의 역할: perplexity를 크게 낮춰 탐색 공간을 축소하고, 다양한 도메인에서 추론 능력의 씨앗을 낮은 확률로 심어둠.
- Credit Assignment Problem: 여러 행동 중 어떤 행동이 보상에 기여했는지 판단하는 근본적인 난제. 보상이 드문 환경(Montezuma‘s Revenge)에서는 여전히 어려움.
관계
- 20260606-pretraining-holds-reasoning-seeds — 하위개념: 프리트레이닝이 추론 씨앗을 제공하는 구체적 메커니즘
- 20260606-on-policy-training-enables-generalization — 연장: On-Policy 학습이 일반화를 가능하게 하는 이유
- 20260606-accurate-reward-feedback-supports-generalization — 연장: 정확한 보상 피드백이 일반화 패턴을 선택적으로 강화하는 원리
인용
“강화 학습은 정답인 경우에 확률을 높여주는 것인데, 추론을 생성한 사례가 강화를 받는다. 추론할 확률이 굉장히 낮더라도 그 낮은 확률에 비해서 정답인 경우가 많으니까 정답에 대해서 더 부각된다.”