정의
LLM 프리트레이닝 과정에서 극히 낮은 확률로 존재하는 추론(CoT) 패턴이, 강화 학습의 비대칭 보상 구조 덕분에 기하급수적으로 확률이 높아져 주류 행동이 되는 과정. 새로운 능력을 주입하는 것이 아니라, 이미 잠재된 일반화 가능한 패턴을 발굴하는 메커니즘.
핵심 속성
- 프리트레이닝의 역할: vocabulary 163,840개 → perplexity ~3.7. 탐색 공간을 천문학적 수에서 극히 작게 압축. 대부분의 토큰은 low-entropy(파란색), 소수의 high-entropy(빨간색) 분기점 토큰이 추론의 방향을 결정.
- 비대칭 보상 구조: P(추론 생성) ≪ P(정답 | 추론 생성). 추론 확률은 낮지만 추론 시 정답률이 높으므로, RL은 각 스텝마다 추론 패턴에 기하급수적으로 강한 보상을 줌 → 소수 확률의 추론이 빠르게 주류화.
- On-Policy 조건: 모델이 자신의 능력 범위 내에서 문제를 직접 풀고 피드백을 받아야 함. Off-policy(전문가 궤적 모방)는 모델이 도달하지 못하는 경로를 학습시켜 분포 불일치 → 오버피팅.
- 정확한 reward signal의 역할: 오답을 정답으로 강화하면 암기(일반화 불가) 패턴이 강화됨. 엄격한 reward signal이 일반화 가능한 패턴만 선별적으로 부각.
- DeepSeek R1 구현:
<think>+<answer>태그 + 결과 보상만으로 추론 발현. 추론 과정 내부에는 구조 강제 없음 → 모델이 스스로 추론 방식을 찾음. - 포스트 트레이닝 우위: 전체 compute의 10% 미만으로 프리트레이닝에 필적하는 품질 향상 가능. RL 레시피가 프런티어 기업의 핵심 경쟁력이 됨.
- 능력 조합: 수학에서 학습한 추론이 시 작성으로 전이(일반화). 또한 기존 능력 A + B가 새로운 조합 C로 창발될 수 있음.
관계
- 20260602-non-verifiable-to-verifiable-closed-loop — 연결: verifiable reward function이 존재하는 도메인에서 RL이 작동하는 구조적 동일성
- 20260527-three-gulfs-of-ai-evals — 연결: 정확한 평가/피드백이 학습 방향을 결정한다는 원칙
- 20260508-llm-system-patterns-7 — 연관: LLM 추론 패턴의 시스템 관점
- 20260602-kimi-k2 — 사례: thinking 모델로서 이 메커니즘의 산물
- 20260602-roh-jungseok — 관련: ep45에서 verifiable reward function을 비즈니스 관점으로 확장한 인물
- 20260602-kim-sunghyun — 저자: 이 메커니즘의 기술적 설명을 제시한 AI 엔지니어
인용
“강화 학습은 정답이냐 아니냐만 보니까요. 그러니까 정답을 가지고 평가하는 것 자체가 확률이 낮더라도 정답인 경우가 많으면 그 등장하는 확률보다 보상 강화를 더 강하게 받는 거죠.”