정의
DeepSeek-V4는 DeepSeek이 R1 출시 이후 1년 4개월 만에 공개한 최신 프론티어 LLM으로, 1.6조 파라미터 규모에 activated parameter 37B(추정)를 가진 MoE(Mixture of Experts) 모델이다. 핵심 혁신은 sparse attention, mHC(Manifold-Constrained Hyper-Connections), Muon optimizer, Anticipatory Routing의 네 가지로 요약된다.
핵심 속성
- 모델 규모: 1.6T 파라미터(DeepSeek-V3 대비 ~2.7배 증가)
- Activated parameter: 약 37B(추정)
- MoE 구조: 소형 모델(activated parameter 더 작은 버전)도 동시 출시
- Sparse attention: sliding window + compressed top-k + heavily compressed의 3-component 조합으로 장문맥 비용 혁신
- mHC (Manifold-Constrained Hyper-Connections): Residual connection의 통로 폭을 저렴하게 확장하여 깊은 모델 학습 안정화
- Muon optimizer: Adam 대비 학습 속도 가속 및 데이터 효율성 향상. Kimi가 선도한 선택을 DeepSeek이 확장 적용
- Anticipatory Routing: MoE 라우팅을 과거 weight로 수행하여 학습 불안정성 완화. 이해하기 어려운 독특한 기법
- MLA 제거: Multi-head Latent Attention 폐기, 단순한 Multi-Query Attention으로 대체
- 학습 데이터: 32T 토큰 (고품질, long-context 문서 포함, synthetic data 사용 여부 불명)
- Pre-training: 4K → 16K(1T) → 64K 이상(30T+)의 점진적 long-context 학습
- Post-training: On-Policy Distillation, rubric 기반 reward model, 1M token RL
- 하드웨어: NVIDIA GPU + Huawei 칩 혼합 사용
- 전력 제약: mega-kernel 최적화로 인해 전력 throttling이 발생할 정도로 연산 밀도 향상
관계
- 20260607-deepseek-v4-sparse-attention — 하위개념: 가장 핵심적인 혁신 기술
- 20260605-ai-employee-architecture — 상위개념: MoE 아키텍처 일반
- 20260607-china-ai-frontier-labs — 연장: 중국 프론티어 랩 생태계에서의 위치
- 20260607-on-policy-distillation — 연장: post-training 방법론
인용
“DeepSeek-V4의 세 가지 핵심 혁신: mHC, sparse attention, Muon optimizer”
“이제 pre-training에 대해서는 이미 동등한 수준으로 도달했다. 남은 건 이제 post-training에서 동등한 수준으로 도달하는 것”
출처
- 📎 클리핑: 20260613-ep95-ko-transcript