이 통찰은 LLM 학습에서 프리트레이닝과 포스트 트레이닝(강화 학습)의 역할을 극명하게 대비시킨다. 프리트레이닝이 ‘바벨의 도서관’ 같은 무한한 가능성 속에서 의미 있는 경로를 추려내는 압축 과정이라면, 강화 학습은 그렇게 압축된 공간 안에서 잠재된 창발성을 현실로 끌어내는 증폭 장치다.
프리트레이닝의 위대함은 perplexity라는 단일 지표에 함축된다. Kimi K2의 경우 vocabulary가 163,840개임에도 perplexity는 약 3.7로, 다음 토큰을 맞히는 선택지가 사실상 3~4개로 압축되었다는 뜻이다. 이는 단순한 ‘가능성의 축소’가 아니라, 무의미한 우주 속에서 ‘의미 있는 경로’를 발견한 것이다. 대부분의 토큰은 거의 결정론적으로 예측 가능해지고, 오직 사고의 분기점이 되는 소수의 토큰만이 높은 불확실성(높은 엔트로피)을 가진다. 즉, 프리트레이닝은 방대한 잡음 속에서 신호를 걸러내는 필터 역할을 한다.
그러나 이 필터링만으로는 창발적 추론이 충분히 활성화되지 않는다. 모델 안에는 추론할 수 있는 ‘능력’이 이미 존재하지만, 그 확률이 극히 낮아 묻혀 있다. 강화 학습이 하는 일은 이 희미한 신호를 증폭하는 것이다. 추론을 한 경우 답이 맞을 확률이 압도적으로 높다는 비대칭성 덕분에, 적은 연산만으로도 추론 패턴의 확률이 기하급수적으로 증가한다. 이는 단순히 ‘잘한 행동’을 강화하는 것이 아니라, ‘일반화 가능한 행동 양식’ 자체를 부상시키는 과정이다.
근거
“가능한 경우의 수는 그 vocabulary의 100제곱… 그런데 프리트레이닝을 통해서 선택지의 개수가 크게 줄어듭니다. 한 3.7개 정도에서 하나 뽑는 문제로 바뀌는 거예요.” “pre-training을 통해서 말도 안 되는 토큰들은 다 쳐내고 선택지를 줄여주는 거죠.” “추론을 생성하지 않고 답을 맞힐 확률은 … 대체로 암기에 의한 가능성… 추론을 했을 때 답이 맞을 확률이 높습니다.”
연결된 생각
- 20260607-on-policy-rl-for-llm-reasoning — 이 통찰은 on-policy RL의 효율성을 설명하는 배경 지식을 제공한다. 프리트레이닝이 없었다면 RL이 탐색해야 할 공간은 너무 방대해 실패했을 것이다.
- 20260607-accurate-reward-signal-oracle — 프리트레이닝이 좁힌 공간에서 정확한 보상 신호가 없다면, 창발적 패턴 대신 잡음이 강화될 위험이 있다.