정의
DeepSeek-V4는 1.6T 파라미터의 프론티어 LLM으로, 세 가지 종류의 희소 주의(Sparse Attention) 메커니즘을 도입하여 long-context 처리 비용을 획기적으로 낮추고 pre-training 효율을 극대화했다. 또한 Manifold-Constrained Hyper-Connections(mHC), Muon Optimizer, Anticipatory Routing, On-Policy Distillation 등의 혁신적인 아키텍처 및 학습 기법을 포함한다.
핵심 속성
- 모델 크기: 1.6T 파라미터 (activated: 약 37B)
- Sparse Attention 구성요소:
- Sliding Window Attention: 과거 일정 토큰만 참조
- Heavily Compressed Attention (HCA): 100:1 수준으로 압축 후 full attention
- Compressed Sparse Attention (CSA): 4:1 압축 후 Lightning Indexer로 top-k 선택
- Lightning Indexer: 경량 연산으로 중요한 KV cache 벡터를 선택하는 미분 불가능한 연산을 학습 가능하게 함
- mHC (Manifold-Constrained Hyper-Connections): residual connection의 통로 폭을 안정적으로 확장
- Muon Optimizer: Adam 대비 학습 가속 및 데이터 효율성 향상
- Anticipatory Routing: MoE routing에 과거 weight를 사용하여 학습 불안정성 완화
- On-Policy Distillation: 전문가 모델들을 학습시킨 후 distillation으로 결합
- FP4 Quantization: expert weight를 4-bit로 압축하여 추론 효율 증가
- Pre-training 데이터: 32T 토큰, 64K 이상의 long-context로 대부분 학습
관계
- 20260606-sparse-attention-learning-from-scratch-overcoming-pain — 이 개념의 실제 구현에서 발생한 학습 난관과 극복 과정
- 20260606-long-context-pretraining-determines-agent-complexity — long-context 능력이 에이전트 복잡성을 결정하는 연결점
인용
“sparse attention을 통한 거의 from scratch pre-training을 밀어붙이고 싶었다는 것이고 아마 거의 성공적인 것 같습니다. 그런데 그걸 위해서 거쳐야 했던 과정들이 굉장히 힘든 과정들을 거쳤던 것 같아요.”
“kernel의 밀도가 너무 높아져서 연산의 밀도가 너무 높아져서 전력 throttling이 걸리기 시작했다. 전력 수요를 감당하지 못하는 수준까지 수준이 됐다.”
출처
- 📎 클리핑: 20260613-ep95-ko-transcript