모델의 한 레이어가 수행할 수 있는 연산량은 고정되어 있다. 복잡한 문제를 한 번에(Next Token 하나로) 해결하려 하면 모델은 문제 해결 알고리즘을 학습하는 대신 데이터를 ‘암기’해버리는 오버피팅에 빠진다. 그러나 추론 토큰(CoT)을 통해 문제를 여러 단계로 쪼개면, 각 단계의 연산량은 모델의 수용 범위 내로 들어온다. 이는 모델이 암기가 아닌 ‘알고리즘적 추론’을 수행하게 하여 진정한 일반화를 가능하게 하는 핵심 기제다.
근거
인터넷 데이터의 대부분은 중간 과정이 생략된 결과값(Cleo의 적분 사례)뿐이다. 모델이 이를 그대로 학습하면 ‘생각 없이 답만 내는 충동’을 배우게 된다. 강화 학습은 이 중 드물게 존재하는 추론 경로가 정답으로 이어질 때 지수적인 보상을 줌으로써, 모델이 스스로 연산 과정을 분산시키도록 유도한다.
“모델이 풀 수 없는 문제에 대해서는 암기하게 되고 일반화가 불가능하다. 모델이 풀 수 있는 형태(단계)로 쪼개주면 알고리즘을 학습할 수 있고 일반화가 가능해진다.”
연결된 생각
- 20260611-on-policy-rl-superhuman-reasoning — 일반화 가능한 알고리즘을 스스로 찾게 만드는 학습 환경의 중요성.