정의
Kimi K2 모델로 대표되는 차세대 추론 모델의 핵심 방법론으로, 프리트레이닝된 모델 내부에 잠재된 추론 경로를 강화 학습(RL)을 통해 표면화하고 최적화하여 초인적 성능을 끌어내는 포스트 트레이닝 기법이다.
핵심 속성
- On-Policy RL: 모델이 직접 생성한 데이터(자체 시도)를 바탕으로 학습한다. 전문가의 데이터를 모방하는 Off-Policy(SFT)의 한계를 넘어 모델 고유의 문제 해결 경로를 발견하게 한다.
- 고엔트로피 토큰(High Entropy Tokens): 모델의 불확실성이 높은 지점이 곧 사고의 전환이나 논리적 분기점이며, 추론 모델은 이 지점에서 더 많은 연산을 투입하여 정확도를 높인다.
- 연산의 분산(Computation Budget): 복잡한 연산을 여러 토큰(CoT)에 걸쳐 분산함으로써, 단일 토큰 예측 시 모델이 가진 고정된 연산 용량의 한계를 극복하고 알고리즘적 일반화를 달성한다.
- Quantization-Aware Training (QAT): MoE(Mixture of Experts) 구조의 효율성을 극대화하기 위해 학습 단계에서 INT4 양자화를 도입, 성능 저하 없이 모델 용량을 획기적으로 줄인다.
관계
- 20260605-superhuman-intelligence-starts-from-on-policy — 원리: 초인적 지능을 위한 학습 방식의 차이
- 20260605-reasoning-is-about-computable-steps — 원리: 추론이 일반화를 가능하게 하는 논리적 근거
- 20260605-entropy-decisive-branch-points — 메커니즘: 추론 과정에서 토큰별 엔트로피의 역할
인용
“강화 학습은 정답을 맞혔을 때 했던 행동들의 확률을 높이는 것이다. 추론을 생성할 확률은 낮지만 추론했을 때 답이 맞을 확률이 높다면, 강화 학습은 그 추론 패턴을 기하급수적으로 부상시킨다.”