정의
DeepSeek-V4는 1.6조(1.6T) 파라미터 규모의 MoE 기반 LLM으로, 세 가지 컴포넌트로 구성된 희소 어텐션(Sparse Attention)을 통해 long-context 추론 시 연산량을 73% 절감하고 KV 캐시 메모리 사용량을 90% 줄였다. 기존 MLA(Multi-head Latent Attention) 구조를 폐기하고 더 단순한 Multi-Query Attention으로 전환했으며, Muon Optimizer와 Manifold-Constrained Hyper-Connections(mHC)를 도입했다.
핵심 속성
- 모델 크기: 1.6T 파라미터 (DeepSeek-V3 대비 2.7배 증가), 활성화 파라미터는 약 37B → 소폭 증가
- 희소 어텐션 구성: Sliding Window Attention + Compressed Attention(1/4 압축 후 top-k 선택) + Heavily Compressed Attention(1/100 압축 후 full attention)
- attention 구조 변경: MLA 제거 → Multi-Query Attention 채택
- 옵티마이저: Muon Optimizer (Adam 대비 학습 속도 및 데이터 효율성 향상)
- 잔차 연결: mHC(Manifold-Constrained Hyper-Connections)로 residual channel 폭 확장
- 학습 불안정성 대응: Anticipatory Routing — MoE 라우팅에 과거 weight 사용, Clamping, 세부 게이팅 수정
- 인프라 최적화: Mega-kernel로 연산 밀도 극대화(전력 throttling 발생), FP4 quantization (expert weight), TileLang 협업, 배치 불변성(Batch Invariance) 커널 최적화
- pre-training: 32T 토큰, 4K에서 시작해 64K 이상 long-context로 대부분 학습 (기존 4K/8K 관행과 차별화)
- post-training: On-Policy Distillation, Rubric 기반 보상 모델, 1M 토큰까지 RL 확장, Agentic sandbox 인프라 구축
관계
- deepseek-v3-architecture — 하위개념: V3 대비 모든 주요 컴포넌트를 개선한 차세대 모델
- native-sparse-attention — 상위개념: Native Sparse Attention의 아이디어를 구체화하고 안정화한 실용적 구현
- moe-load-balancing — 연장: MoE 라우팅 안정성을 위해 Anticipatory Routing이라는 새로운 기법 도입
- muon-optimizer — 연장: 중국 AI 랩에서 표준으로 채택된 옵티마이저를 DeepSeek이 개선하여 사용
- gpt-5-architecture — 대조: 미국/중국 간 아키텍처 공개 수준 차이를 보여주는 사례
- anthropic-claude-mythos — 대조: post-training 집중 전략이 다른 점을 시사
인용
“Pro 기준으로도 토큰 연산에 들어가는 연산량이 27% 정도로 줄었다, 거의 3분의 1이 된 거죠. 그리고 메모리 소비량은 10분의 1이 됐네요.” “sparse attention을 거의 from scratch로 학습하는 것. 초반 1T 정도 토큰은 dense attention을 학습해요. 그렇지만 나머지 30T 이상의 토큰에 대해서는 sparse attention을 학습하거든요.” “kernel의 밀도가 너무 높아져서 연산의 밀도가 너무 높아져서 전력 throttling이 걸리기 시작했다. 전력 수요를 감당하지 못하는 수준까지 됐다.”