이 대화에서 가장 인상 깊었던 점은 DeepSeek 팀이 Sparse Attention을 처음부터 학습하는 데 겪은 엄청난 어려움을 솔직하게 드러냈다는 것이다. 다른 중국 AI 기업들은 “dense attention이 있어야 sparse attention을 학습할 수 있다”는 결론에 도달했지만, DeepSeek은 1T 토큰의 dense pre-training 이후 30T 이상의 sparse pre-training을 성공시켰다. 이 과정에서 Anticipatory Routing 같은 독특한 기법이 필요했고, 논문에는 학습 불안정성에 대한 “고통의 증거”가 곳곳에 배어 있다. 단순히 최고 성능을 자랑하는 대신, 실패와 시행착오를 공개하는 태도가 이 모델의 진정한 가치를 높인다.
근거
“DeepSeek은 그걸 하고 싶었던 것 같아요. sparse attention을 거의 from scratch로 학습하는 것. 여기서도 V4에서도 완전히 from scratch는 아닙니다. 초반 1T 정도, 1 trillion 정도 토큰은 dense attention을 학습해요. 그렇지만 나머지 30T 이상의 토큰에 대해서는 sparse attention을 학습하거든요. 그렇다는 거는 sparse attention을 통한 거의 from scratch pre-training을 밀어붙이고 싶었다는 것이고 아마 거의 성공적인 것 같습니다.”
“다들 이상하게 생각하는 건 Anticipatory Routing이라는 이 개념은 다들 좀 이상하게 생각합니다. … 왜 그래야만 했던 건지가 미스터리해요. 이렇게까지 해서 이걸 구현해야 했던 이유, 이 과정이 좀 미스터리합니다.”
연결된 생각
- 20260606-sparse-attention-deepseek-v4 — 기술적 혁신의 실제 구현
- 20260606-ai-competition-shifts-from-model-to-business — 기술적 우위가 결국 비즈니스 가치로 이어져야 함
출처
- 📎 클리핑: 20260613-ep95-ko-transcript