정의
LLM의 추론 능력은 pre-training 단계에서 이미 낮은 확률로 학습되어 있으나, 강화 학습(RL)을 통해 이 패턴의 생성 확률이 지수적으로 증가하며 표면으로 발현된다. 이 과정은 on-policy 학습, 정확한 보상 신호, 그리고 모델이 풀 수 있는 문제(subtask 분할)라는 조건 위에서만 효과적으로 작동한다.
핵심 속성
- Pre-training의 역할: 거대한 탐색 공간(vocabulary^sequence length)을 perplexity 3.7 수준으로 축소하여 의미 있는 시퀀스 경로를 압축·학습. 추론 패턴은 극히 낮은 확률로 존재.
- 비대칭적 확률 구조: 추론을 생성할 확률은 낮지만(예: 1%), 추론 생성 시 정답일 확률은 비추론 시보다 높음. 이 비대칭이 RL의 지수적 강화를 가능하게 함.
- On-policy 필수 조건: 모델이 자기 방식대로 문제를 풀고(self-generated trajectory) 보상을 받아야 일반화 가능. Off-policy(전문가 모방)는 모델의 능력과 괴리되어 오버피팅 유발.
- 정확한 보상 신호: 오답을 정답으로 판단하지 않아야 암기식 답변이 억제되고, 일반화 가능한 추론 패턴만 선택적으로 강화됨.
- 문제 분할과 일반화: 모델이 한 번에 풀 수 없는 복잡한 문제는 여러 토큰으로 연산을 분산(subtask)하면 일반화 가능한 알고리즘 학습이 가능.
관계
- 20260606-rlhf-preference-alignment — RLHF는 RL의 일종으로, 사람 선호를 보상 모델로 근사하여 LLM을 정렬 (상위개념: RL alignment methods)
- 20260606-deepseek-r1-recipe — R1은 on-policy 정답 일치만 보상으로 사용해 추론을 발현시킨 대표 사례 (연장: 동일 원리 적용)
- 20260607-moe-quantization-post-training-efficiency — MoE 양자화는 추론 효율성을 높여 RL 학습 compute 예산을 확보 (간접 연장)
인용
“추론을 생성할 확률이 있고 추론했을 때 답이 맞을 확률이 있습니다. 추론을 생성하지 않을 확률이 있고 추론을 하지 않고 답이 맞을 확률이 있습니다. … 추론을 했을 때 답이 맞을 확률이 높습니다. … 강화 학습은 정답인 경우에 확률을 높여주는 거잖아요. 그러면 추론을 생성한 사례가 강화를 받겠죠.”