DeepSeek-V4 논문에서 가장 인상 깊었던 점은 중국의 다른 프론티어 랩들이 포기한 from-scratch sparse attention 학습을 거의 성공시켰다는 것이다. 그 과정에서 사용된 Anticipatory Routing이나 복잡한 세 component 조합은 단순한 아키텍처 선택 이상으로, 수많은 시행착오와 실패에서 얻은 암묵지의 집합체다. 논문만으로는 이 암묵지를 완전히 재현하기 어렵기 때문에, DeepSeek의 실제 경쟁력은 공개된 구조보다 학습 과정에서 축적된 노하우에 있을 것이다.
근거
그런데 DeepSeek은 그걸 하고 싶었던 것 같아요. sparse attention을 거의 from scratch로 학습하는 것. 여기서도 V4에서도 완전히 from scratch는 아닙니다. 초반 1T 정도 토큰은 dense attention을 학습해요. 그렇지만 나머지 30T 이상의 토큰에 대해서는 sparse attention을 학습하거든요. 그렇다는 거는 sparse attention을 통한 거의 from scratch pre-training을 밀어붙이고 싶었다는 것이고 아마 거의 성공적인 것 같습니다.
연결된 생각
- 20260607-deepseek-v4-sparse-attention — 구조적 이해와 연결
- tacit-knowledge-in-ai — 암묵지가 기술적 우위를 만드는 예
출처
- 📎 클리핑: 20260613-ep95-ko-transcript