이 통찰은 프리트레이닝이 LLM의 탐색 공간을 극적으로 축소하여 ‘말이 되는 경로’만 남기는 과정을 바벨의 도서관 비유로 설명한다. 그 결과 모델은 희박한 분기점(entropy가 높은 토큰)에서만 선택하면 되며, 이 선택지를 더 좁히고 일반화하는 역할을 RL이 수행한다.
근거
클리핑에서 김성현은 perplexity 개념을 활용해 설명한다: 분류 선택지가 원래 163,840개이던 것이 프리트레이닝 후에는 약 3.7개로 줄어든다. “가능한 경우의 숫자가 엄청나게 줄어드는 거죠. … 대부분의 토큰들은 다 파란색(낮은 entropy)이에요. 프리트레이닝을 통해서 이 토큰들에 대해서 모델이 거의 확신을 하고 있는 거죠.”
바벨의 도서관 비유는 강력하다: 가능한 모든 문자 조합(무한한 경우의 수) 중에서 실제로 의미 있는 책(문맥에 맞는 토큰 시퀀스)은 극소수다. 프리트레이닝은 이 극소수 경로를 추려내는 ‘색인 작업’이다. 이후 RL은 이 좁아진 공간 안에서도 더 효율적인 추론 경로를 발견하고 강화한다. 이 통찰은 왜 비교적 적은 RL compute로 큰 성능 향상이 가능한지를 설명해준다.
연결된 생각
- 20260607-llm-rl-mechanism-pretraining — RL이 프리트레이닝의 좁아진 공간 위에서 작동하는 방식
- 20260607-rl-uncovers-latent-reasoning — RL이 희박한 추론 패턴을 증폭시키는 비대칭 메커니즘 (탐색 공간 축소의 결과)