우리는 흔히 인터넷에 LLM을 학습시킬 양질의 텍스트가 풍부하다고 착각한다. 그러나 수학이나 코딩 같은 고도의 추론 영역에서 인터넷 데이터는 치명적인 결함을 안고 있다. 뛰어난 전문가일수록 복잡한 문제에 대한 ‘최종 정답’을 단숨에 내놓을 뿐, 그 결론에 도달하기까지의 구체적인 사고 과정(Trajectory)을 친절하게 글로 남기지 않기 때문이다.
이러한 ‘결과 편향적’ 데이터를 지도학습(SFT)으로 주입하면 LLM은 치명적인 오해를 하게 된다. “과정을 모르더라도 일단 정답처럼 보이는 것을 뱉어내는 것이 훌륭한 응답이다”라는 잘못된 행동 양식을 암기해 버리는 것이다. 한 번의 토큰 예측에 허용된 연산량은 고정되어 있는데, 중간 과정 없이 단박에 답을 도출하려다 보니 모델은 연산 능력의 한계에 부딪혀 데이터를 무지성으로 암기(Overfitting)하게 되고, 이는 낯선 상황에서 곧바로 할루시네이션으로 이어진다.
결국 LLM에게 필요한 것은 방대한 정답 텍스트가 아니라, 문제를 잘게 쪼개어 토큰당 연산 부하를 분산시키는 ‘사고의 전개(Chain of Thought)’ 과정이다. 인터넷 게시판에서 핑퐁을 치며 집단적으로 오류를 수정하고 추론을 구체화하는 소수의 희귀한 스레드야말로 모델의 숨겨진 역량을 끌어내는 진짜 단서다.
근거
“이 적분 문제를 한 번에 아무런 중간 과정 없이 풀 수 있는 사람은 세상에 거의 없기 때문에… 그런데 인터넷 데이터에서는 사람들이 그냥 이 정도 적분 문제는 한 번에 아무런 중간 과정 없이 푸는 것처럼 되어 있는 거죠. 모델이 배울 수 있는 건 다 이런 식인 겁니다.”
연결된 생각
- sft-forces-memorization — 모델의 역량을 넘어서는 난이도의 SFT 데이터는 모델로 하여금 원리를 이해하는 대신 결과 텍스트 자체를 외우도록 강제한다.
- chain-of-thought-distributes-compute — 사고 과정을 길게 풀어서 쓰는 것은 단순히 설명을 늘리는 것이 아니라 단일 토큰에 걸리는 병목 연산을 시퀀스 전체로 고르게 분산시키는 전략이다.