정의
DeepSeek-V4는 1.6T 파라미터의 MoE 프론티어 모델로, Native Sparse Attention을 기반으로 한 long-context 효율성 혁신을 이루었으며, pre-training 단계부터 64K 이상의 context를 통합하는 패러다임 전환을 보여준다.
핵심 속성
- 모델 규모: 1.6T total 파라미터, activated 약 37B (추정)
- 주요 아키텍처: Sparse attention (3 component: sliding window, compressed attention, heavy compressed attention), Manifold-Constrained Hyper-Connections (mHC), Muon optimizer, MLA 제거
- Long-context 효율성: KV cache 크기 90% 감소, 연산량 73% 감소 (Pro 기준)
- Pre-training: 32T 토큰, 4K→16K→64K 이상으로 장기 학습, long-context를 초기 단계부터 통합
- Post-training: On-Policy Distillation, rubric 기반 reward model, FP4 quantization, 1M context RL, Agentic sandbox 상호작용
- 학습 안정성 기법: Anticipatory Routing (과거 weight로 MoE routing), clamping, 복잡한 파이프라인 최적화 (Comet 기반 개선)
관계
- deepseek-v3 — 이전 세대 기반 모델, MoE 아키텍처 계승
- native-sparse-attention — DeepSeek의 초기 sparse attention 시도, from-scratch 학습 어려움
- muon-optimizer — Adam 대체 optimizer, 학습 효율성 향상
- moe-pipeline-optimization — ByteDance Comet 기반 파이프라인 분할 최적화
- long-context-pre-training — pre-training 단계에서 long-context 통합의 패러다임
인용
sparse attention을 그냥 from scratch로 학습하기는 어렵고 역설적이지만 dense attention이 있어야 sparse attention을 학습할 수 있다.
연산 소모량 자체가 감소했고, 메모리 부담과 관련된 KV cache의 크기 자체도 굉장히 크게 감소했습니다.
출처
- 📎 클리핑: 20260613-ep95-ko-transcript