모델이 복잡한 문제를 한 번에 해결하지 못하는 이유는 지능의 부족보다 ‘연산 용량의 한계’에 가깝다. 추론(Reasoning)은 복잡한 문제를 모델이 처리 가능한 작은 단위의 연산으로 쪼개어 나열하는 과정이며, 이를 통해 모델은 암기된 정답이 아닌 ‘계산된 정답’을 도출할 수 있게 된다.
근거
트랜스포머의 각 레이어가 수행할 수 있는 연산량은 고정되어 있다. 한 번의 토큰 생성으로 어려운 수학 문제를 푸는 것은 오버피팅(암기)을 강요하는 것과 같다. 하지만 연산 과정을 여러 단계(Chain of Thought)로 분산하면, 각 단계의 연산량은 모델의 수용 범위 내로 들어오며, 이때 비로소 모델은 일반화된 알고리즘을 학습하고 적용할 수 있는 상태가 된다.
“모델이 풀 수 없는 문제에 대해서는 데이터를 암기해버리지만, 단계를 쪼개주면 알고리즘을 학습할 수 있고 일반화가 가능해진다.”
연결된 생각
- 20260605-kimi-k2-reinforcement-learning-reasoning — 추론의 연산 분산 메커니즘
- 20260527-five-user-rule — 인간의 인지 부하와 AI의 연산 분산의 유사성