추론 스케일링의 실패 모드 - 긴 사슬의 약한 고리
문제 정의
추론 스케일링(특히 긴 Chain-of-Thought)은 오류 전파(Error Propagation) 문제에 취약하다. 하나의 잘못된 추론 단계가 전체 체인을 무효화할 수 있다.
실패 유형
1. 조기 확증 편향 (Early Confirmation Bias)
- 모델이 초기 단계에서 특정 결론을 내리면, 이후 단계에서 이를 확인하는 방향으로만 추론
- 반대 증거를 무시하거나 왜곡
2. 추론 붕괴 (Reasoning Collapse)
- 너무 긴 추론 체인에서 중간 단계의 의미가 희석됨
- “생각만 하고 답을 내리지 못하는” 상태
3. 환각의 증폭 (Hallucination Amplification)
- 각 추론 단계에서 작은 환각이 발생하면, 체인을 따라 기하급수적으로 증폭
- 최종 출력이 완전히 허구적인 논리 구조를 가짐
방어 메커니즘
- 체크포인트 검증: 중간 단계마다 사실 확인 (외부 지식 베이스 활용)
- 앙상블 추론: 여러 독립적 추론 체인을 생성하고 교차 검증
- 추론 깊이 제한: 문제 복잡도에 따라 최대 추론 단계 설정
- 역방향 검증: 결론에서 시작하여 역으로 추론 과정 검증
통찰
추론 스케일링의 진정한 도전은 compute의 양이 아니라 추론 과정의 신뢰성에 있다. 단순히 더 많이 생각하게 하는 것이 아니라, 더 정확하게 생각하게 하는 방법이 핵심이다.