정의
DeepSeek-V4는 1.6T(total parameter, activated 37B 이상)의 MoE 모델로, long-context 효율을 극대화하기 위해 세 가지 핵심 아키텍처 혁신(Sparse Attention, Manifold-Constrained Hyper-Connections, Muon Optimizer)을 도입했다. 특히 Sparse Attention을 거의 from-scratch 학습에 성공함으로써 context 길이 증가에 따른 연산량과 메모리 사용량을 급격히 낮췄다.
핵심 속성
- 모델 규모: 1.6T total parameters,
37B activated (DeepSeek-V3 대비 2.53배 확장) - Sparse Attention 구성 요소:
- Sliding Window Attention: 최근 N개 토큰만 참조 (범위 제한)
- Compressed Attention: KV cache를 1/4로 압축 후 top-k 선택 (Lightning Indexer)
- Heavily Compressed Attention: 압축률을 1/100 이상으로 높여 전체 압축 후 full attention
- mHC (Manifold-Constrained Hyper-Connections): residual connection의 통로 폭을 확장하되, manifold 제약으로 안정화. 깊은 모델의 gradient 흐름 개선.
- Muon Optimizer: Adam 대비 학습 속도 가속 및 데이터 효율성 향상. Kimi가 선도한 방식에 추가 정밀 보정.
- 학습 인프라: MoE pipeline 최적화(Comet 개선), Mega-kernel로 전력 throttling 발생, FP4 quantization, batch invariance kernel, long-context pre-training (64K 이상에서 30T 토큰 학습)
관계
- 에이전트 시대의 Long-Context 효율은 아키텍처 혁신에서 나온다 — Sparse Attention의 함의를 논의한 garden 노트
- 고통이 혁신을 낳는다 — DeepSeek-V4의 학습 불안정성이 드러낸 정면돌파의 가치 — 학습 불안정성 극복 과정을 분석한 garden 노트
- ep95-ko-transcript — 원본 클리핑 (source)
- LLM Wiki 패턴 — 유사한 지식 누적 패턴에 대한 개념 (예시)
- MoE 아키텍처 — DeepSeek-V3/V4의 기반 (예시)
인용
“sparse attention을 거의 from scratch로 학습하는 것. … 초반 1T 정도 토큰은 dense attention을 학습해요. 그렇지만 나머지 30T 이상의 토큰에 대해서는 sparse attention을 학습하거든요.” “KV cache를 압축합니다. 4분의 1로 압축을 합니다. … 4분의 1 중에서 일부만 뽑아내는 역할을 하는 게 Lightning Indexer라고 하는 부분이에요.” “DeepSeek-V4의 최대 공헌점일 게 sparse attention 부분일 것 같고 … mHC, Muon optimizer.”
출처
- 📎 클리핑: 20260613-ep95-ko-transcript