정의
DeepSeek-V4의 Sparse Attention은 기존 Dense Attention의 모든 이전 토큰 참조 방식에서 벗어나, 희소하게 선택된 일부 토큰만 참조하여 연산량과 메모리 소비를 획기적으로 줄이는 어텐션 메커니즘이다. Sliding Window, Compressed, Heavily Compressed Attention의 세 가지 컴포넌트 조합으로 구성된다.
핵심 속성
- 핵심 목표: Long-Context 환경에서 연산 복잡도와 KV Cache 메모리 부담을 극적으로 감소
- 성과: Pro 기준 연산량 27% 감소, 메모리 소비량 10% 수준으로 축소
- 구성 요소: Sliding Window Attention, Compressed Attention(100:1), Heavily Compressed Attention(4:1 압축 + Top-K 선택)
- 학습 전략: 초기 1T 토큰은 Dense Attention으로 학습, 이후 30T+ 토큰에서 Sparse Attention 학습
- 핵심 도전과제: Top-K 선택 연산의 미분 불가능성으로 인한 학습 불안정성
관계
- 20260605-ai-model-training-infrastructure-evolution — DeepSeek-V4의 학습 인프라 최적화와 MoE 파이프라인 개선
- 20260605-gpt-5-model-evolution-pace — 경쟁 모델(GPT-5.5, Claude Mythos)의 Base Model 업데이트와 비교되는 시점
- 20260605-moe-traditional-architectures — MoE 구조의 Sparse 특성과 Sparse Attention의 공통된 기술적 난제
인용
“DeepSeek-V4의 가장 중요한 부분은 sparse attention이 될 것 같습니다… context가 길어지면 길어질수록 연산 소모량과 메모리 요구량이 늘어나는 구조죠. 그래서 그 부분을 개선하고 싶다는 생각을 많이들 했습니다.”
출처
- 📎 클리핑: 20260613-ep95-ko-transcript