정의
DeepSeek-V4는 희소 주의 메커니즘(Sparse Attention)과 여러 아키텍처 최적화(mHC, Muon Optimizer, MoE 파이프라인 개선)를 통해 장문 맥락에서의 연산량과 메모리 소비를 극적으로 줄인 프론티어 모델이다. pre-training 단계에서부터 64K 이상의 long-context를 학습하여 기존 모델과 차별화된다.
핵심 속성
- 모델 크기: 1.6T 파라미터 (activated: 37B → 증가), 작은 모델도 동시 출시
- Sparse Attention 구성: Sliding Window Attention + Global Compressed Attention (100:1 압축 후 full attention) + Heavily Compressed Attention (4:1 압축 후 top-k 선택, Lightning Indexer 사용)
- mHC (Manifold-Constrained Hyper-Connections): 잔차 연결의 폭을 넓히고 안정화하여 깊은 모델 학습 가능
- Muon Optimizer: Adam 대비 학습 속도 및 데이터 효율성 향상, Kimi가 선도한 선택을 확장 적용
- 효율성: Pro 기준 연산량 27%로 감소, 메모리 소비 10%로 감소 (기존 V3 대비)
- pre-training: 32T 토큰, 4K → 16K → 64K 이상 단계적 long-context 학습 (대부분 64K+)
- post-training: On-Policy Distillation (전문가 모델 결합), Rubric 기반 Reward, FP4 추론, 1M 토큰 에이전트 RL
- 인프라: Mega-kernel (전력 쓰로틀링 발생), FP4 양자화 (expert weight), MoE 파이프라인 최적화 (Comet 개선), Batch Invariance kernel, TileLang 기여
- 학습 안정성: Anticipatory Routing (과거 weight로 라우팅), Clamping, 게이팅 수정 등
관계
- deepseek-v3-architecture — 이전 세대 모델, V4는 아키텍처 전면 개편
- sparse-attention-mechanism — 장문 처리를 가능하게 하는 핵심 기술
- muon-optimizer — 학습 효율화를 위한 최적화 기법
- mhc-residual-connection — 잔차 연결의 변형, 모델 깊이 안정화
- on-policy-distillation — post-training 방법, 전문가 모델의 지식 증류
- training-instability-anticipatory-routing — 학습 불안정성을 다루는 독특한 방법
인용
“Pro 기준으로 토큰 연산에 들어가는 연산량이 27% 정도로 줄었다, 거의 3분의 1이 된 거죠. 그리고 메모리 소비량은 10분의 1이 됐네요.” (대담 중 정석 발언)