정의
한 토큰이 이전의 모든 토큰을 참조하는 대신, 중요한 소수의 토큰만 희소하게 참조하는 어텐션 구조. context가 길어질수록 폭증하는 연산량과 KV cache 메모리를 억제하기 위한 것으로, DeepSeek-V4(1.6T)의 핵심 혁신이다.
핵심 속성
- 효과: DeepSeek-V4 Pro 기준 토큰당 연산량 약 27%로 감소, 메모리 소비량 약 10%로 감소
- 세 컴포넌트: (1) sliding window attention(과거 N토큰만 참조), (2) 압축 토큰 full attention(1만 토큰을 100분의 1로 요약 후 full attention), (3) Compressed Sparse Attention(context를 1/4로 압축 후 top-k만 참조)
- 학습 난점: top-k 선택이 미분 불가능해 학습 불안정
- long-context 의미 변화: 과거엔 “문서 많이 넣기”였으나, 지금은 agent가 다룰 수 있는 작업의 규모·복잡성과 직결
관계
- 20260603-dense-attention-needed-to-learn-sparse — 연장: 학습의 역설
- 20260603-moe-is-sparsity-not-domain-experts — 대조: 같은 sparsity 원리의 다른 적용
인용
전체를 다 보는 것이 아니라 보는 토큰은 그중에서도 희소한 일부라는 의미가 됩니다.