DeepSeek-V4는 그동안 업계에서 ‘학습하기 너무 어렵다’고 여겨졌던 Sparse Attention을 거의 처음부터(from-scratch) 학습하는 데 성공했다. 많은 중국 연구팀이 ‘dense attention 없이는 sparse attention을 학습할 수 없다’고 결론 내린 상황에서 정면 돌파한 사례다. 단순한 아키텍처 변경이 아니라, 1년 이상의 시행착오와 세부 디테일의 조합, 그리고 학습 불안정성에 대한 창의적 대처(Anticipatory Routing 등)가 필요했다. 이 성과는 희소성(sparsity)을 활용하는 다른 딥러닝 구조(MoE 등)에도 중요한 시사점을 준다. 앞으로 이 구조가 왜 성공했는지에 대한 후속 연구가 많이 나올 것으로 예상된다.
근거
대담에서 김성현은 “sparse attention을 from-scratch로 학습하는 게 굉장히 어려웠기 때문일 겁니다. … DeepSeek은 거의 from-scratch 학습을 밀어붙이고 싶었던 것이고 아마 거의 성공적인 것 같습니다. 그런데 그걸 위해서 거쳐야 했던 과정들이 굉장히 힘든 과정들을 거쳤던 것 같아요.”라고 분석한다.
“DeepSeek 자신도 그 이후 DeepSeek-V3.2 같은 모델이 되면서 그 구조를 포기했었거든요. … 그런데 DeepSeek은 그걸 하고 싶었던 것 같아요. sparse attention을 거의 from scratch로 학습하는 것.”
연결된 생각
- 20260607-deepseek-v4-architecture-sparse-attention — Sparse Attention의 구체적 구성요소와 효율성
- training-instability-anticipatory-routing — 학습 불안정성을 다루는 독특한 방법