DeepSeek-V4의 sparse attention은 단순한 효율화가 아니다. 중국 다른 연구실들이 “from-scratch 학습이 너무 어렵다”며 포기한 문제를 정면 돌파한 결과물이다. 초기 1T 토큰을 dense attention으로 warm-up한 후 나머지를 sparse로 전환하는 전략은, 학습 불안정성을 극복하기 위해 1년가량의 시행착오와 인프라 변경이 필요했음을 논문 곳곳에서 암시한다.
근거
“sparse attention을 그냥 from-scratch로 학습하기는 어렵고 역설적이지만 dense attention이 있어야 sparse attention을 학습할 수 있다. 이런 결론으로 흘러갔습니다. … DeepSeek은 그걸 하고 싶었던 것 같아요. sparse attention을 거의 from-scratch로 학습하는 것.”
또한 Anticipatory Routing, clamping 등 학습 안정화를 위한 다양한 조치가 논문에 포함되어 있으며, 성현 님은 “다들 왜 그렇게 했는지 모르겠다”고 언급했다.
연결된 생각
- 20260606-deepseek-v4-sparse-attention — 기술적 아키텍처의 세부
- 20260606-post-training-is-next-battle — pre-training 성공 이후 post-training 경쟁으로 주목 이동
출처
- 📎 클리핑: 20260613-ep95-ko-transcript