강화학습(RL)을 통해 DeepSeek R1 같은 모델이 압도적인 추론 능력을 뽐낼 때, 우리는 RL이 모델에게 새로운 사고방식을 “가르쳤다”고 생각하기 쉽다. 하지만 강화학습의 진짜 역할은 무언가를 발명하는 것이 아니라 프리트레이닝의 심연에 파묻혀 있던 희귀한 보석을 ‘발굴하고 증폭’시키는 데 있다.
LLM은 방대한 텍스트를 프리트레이닝하며 말도 안 되는 단어들의 무한한 조합 공간을 확률적으로 유의미한 범위로 좁혀 놓았다. 이 거대한 지식의 바다에서는 아무 생각 없이 오답을 내뱉을 확률이 압도적으로 높다. 하지만 아주 희박한 확률(예: 1%)로 ‘스스로 단계를 쪼개어 고민한 뒤 정답을 맞히는’ 놀라운 경로가 내재되어 있다.
이때 오직 정답 여부만을 가혹하게 판별하는 온폴리시(On-Policy) 보상 체계를 걸어주면 마법이 일어난다. 추론을 거친 궤적의 정답률이 월등히 높으므로 이 1%의 희귀한 궤적이 집중적으로 보상을 독식하게 된다. 보상을 받을 때마다 1%의 확률은 2%, 4%, 8%로 기하급수적으로 부풀어 오르며 순식간에 모델의 주류 행동 양식으로 군림한다. 즉 포스트 트레이닝 시대 프런티어 랩들의 노하우는, 없는 지능을 주입하는 것이 아니라 이미 잠복된 지능을 타겟팅하여 어떻게 폭발시키는가에 있다.
근거
“추론할 확률이 굉장히 낮더라도 그 낮은 확률에 비해서 정답인 경우가 많으니까… 1이 2가 되는 거죠. 그러면 2가 다시 4가 되고 4가 8이 되고 이런 식으로 빠르게 늘어나는 겁니다.”
연결된 생각
- pre-training-compresses-search-space — 프리트레이닝은 무한한 확률 조합을 유의미한 패턴으로 압축하는 거대한 바벨의 도서관 분류 작업이다.
- reward-function-defines-behavior — 어떤 방식으로 생각할지 구조(XML 태그 등)를 억지로 강제하지 않아도, 단순하고 명확한 정답 기반 보상 함수 하나가 모델 스스로 최적의 알고리즘 궤적을 발현하게 만든다.