이 인사이트는 LLM이 왜 기본적으로 충동적으로 답변하는 경향을 보이는지, 그리고 추론 모델이 어떻게 그 경향을 극복하는지를 데이터 관점에서 설명한다. 프리트레이닝 데이터의 대부분은 질문과 최종 정답만 포함하고 중간 추론 과정이 생략되어 있어, 모델이 ‘일단 답부터 내는’ 패턴을 학습하게 된다. 그러나 인터넷 포럼 같은 일부 데이터는 여러 사용자의 상호작용을 통해 집단적 추론 과정을 기록하며, 이 희귀한 패턴이 추론 능력의 씨앗이 된다.
근거
원문에서 제시된 수학 포럼 사례가 결정적이다. 사용자 BvU가 songoku의 숙제 문제에 대해 “이 사례에 대해 생각해 보는 건 어때?” 같은 점진적 피드백을 제공하자, songoku가 스스로 오류를 발견하고 정답에 도달하는 과정이 그대로 기록된다. 이 데이터는 전형적인 추론 모델의 행동 패턴(반성, 재고, 검증)과 일치한다. 이런 데이터는 극히 드물지만, 한 번 존재하면 모델이 추론하는 방법을 배울 수 있는 유일한 창구가 된다.
“전형적으로 저희가 추론 모델에서 보는 패턴이죠. 추론 모델은 생각하다가 이 사례에 대해서 생각해 보면 어떨까 생각하다가 어, 그럼 내가 뭔가 실수했나 돌이키고 이런 패턴들이 추론 모델로 나타나잖아요. 이런 데이터가 인터넷에 거의 없는데 포럼 같은 데서 가끔 이렇게 등장하는 겁니다.”
연결된 생각
- 20260606-rl-llm-reasoning-emergence — 이 희미한 패턴을 증폭하는 RL 메커니즘
- data-quality-matters-for-reasoning — 확장: 추론 학습에 필요한 데이터 특성