Kimi K2의 perplexity 3.7이 의미하는 바는 단순히 모델이 ‘대충 맞춘다’는 것이 아니다. 163,840개의 어휘 중에서 평균적으로 3.7개로 선택지를 줄였다는 것은, 프리트레이닝이 바벨의 도서관 같은 무한한 가능성에서 ‘말이 되는 문장들’만 골라내는 필터 역할을 했다는 뜻이다. 하지만 이 필터는 추론(reasoning)보다는 암기(recall)에 유리하게 작동한다. 인터넷 데이터 대부분은 질문과 정답만 있을 뿐, ‘어떻게 그 답에 도달했는지’에 대한 중간 과정(trajectory)이 극히 드물기 때문이다.
여기서 강화 학습이 등장한다. 모델이 추론을 생성할 확률은 1% 미만이지만, 추론을 했을 때 정답일 확률은 추론을 하지 않았을 때보다 훨씬 높다. RL은 이 비대칭성을 이용한다. 보상 함수가 정답만을 정확하게 부여하면, 희소하지만 정확도 높은 추론 경로가 지수적으로 증폭된다. 1%의 확률이 2%, 4%, 8%로 기하급수적으로 증가하는 것이다. 이는 적은 연산량으로도 추론 패턴을 지배적으로 만드는 효율적인 메커니즘이다.
결국 프리트레이닝은 탐색 공간을 압축하고, RL은 그 압축된 공간 안에서 일반화 가능한 추론 루트를 급속히 개척한다. 두 단계의 결합이 LLM 추론의 폭발적 성장을 이끌고 있다.
근거
“pre-training을 통해서 선택지의 개수가 크게 줄어듭니다… 실제로 비교적 적은 연산, compute만으로도 이렇게 되기 때문에 강화 학습을 통해서 굉장히 낮은 확률을 가지고 있었던 pre-training된 모델이 굉장히 낮은 확률을 가지고 있었던 추론하는 패턴이 급격하게 부상하게 되는 거죠.”
연결된 생각
- 20260607-llm-reasoning-on-policy-rl — 온-정책 RL이 이 메커니즘의 핵심 조건임을 설명하는 위키 노트
- 20260607-on-policy-rl-mirrors-human-learning — 인간의 학습에서도 유사한 ‘모방 → 시행착오’ 전환이 일어난다는 인사이트