정의
DeepSeek-V4는 2026년 4월 출시된 1.6T 파라미터 프론티어 LLM으로, Sparse Attention, Manifold-Constrained Hyper-Connections (mHC), Muon Optimizer 등 아키텍처 전면 개선을 통해 long-context 효율성을 극대화하고 학습 비용을 대폭 절감한 모델이다. pre-training 단계부터 64K 이상의 long-context를 통합하며 기존의 post-training 확장 방식을 대체했다.
핵심 속성
- 모델 규모: 1.6T 파라미터 (activated 37B), 소형 모델도 동시 출시
- Sparse Attention: CSA(Compressed Sparse Attention) + HCA(Heavily Compressed Attention) + Sliding Window Attention 세 가지 컴포넌트 조합. KV cache를 4분의 1로 압축 후 Lightning Indexer로 top-k 선택 → attention 연산량 27% 감소, 메모리 10%로 축소
- mHC: 기존 residual connection의 통로 폭을 확장하고 Hyper-Connections를 안정화. manifold 제약을 통해 저렴하게 구현
- Muon Optimizer: Adam 대비 학습 속도 가속 및 데이터 효율 향상. 세부 파라미터 확장 적용
- Anticipatory Routing: MoE 라우팅 시 과거 학습 가중치를 사용해 안정성 확보. regularization 효과로 추정
- pre-training: 32T 토큰, 4K→16K→64K 이상으로 long-context 학습을 점진적 확장
- post-training: On-Policy Distillation 방식, Rubric 기반 Reward Model, FP4 quantization 적용
- 인프라: Mega-kernel을 통한 연산 밀도 극대화 (전력 throttling 발생), TileLang 기여, batch invariance 최적화, 화웨이 칩 병용
관계
- 20260606-sparse-attention-lessons-from-instability — Sparse Attention 학습 난제와 해결 사례
- 20260606-ai-competition-shifts-to-post-training — post-training 중요성의 부각
- deepseek-v3 — 이전 세대와의 아키텍처 비교 (stub 필요시 생성)
인용
“sparse attention을 통한 거의 from scratch pre-training을 밀어붙이고 싶었다는 것이고 아마 거의 성공적인 것 같습니다. 그런데 그걸 위해서 거쳐야 했던 과정들이 굉장히 힘든 과정들을 거쳤던 것 같아요.”
출처
- 📎 클리핑: 20260613-ep95-ko-transcript