DeepSeek은 2025년 초 Native Sparse Attention으로 from-scratch 학습을 시도했다가 사실상 포기했다. 샤오미·텐센트의 실험 결론도 같았다 — sparse attention을 처음부터 학습하기는 너무 어렵고, 역설적이지만 dense attention이 있어야 sparse attention을 학습할 수 있다.
근거
sparse attention을 그냥 from scratch로 학습하기는 어렵고 역설적이지만 dense attention이 있어야 sparse attention을 학습할 수 있다.
그래서 절충안이 나왔다 — dense attention으로 pre-training한 뒤 post-training으로 sparse attention을 얹는 구조(DeepSeek Sparse Attention). 그러나 DeepSeek-V4는 이 타협을 다시 밀어붙였다. 초반 1T 토큰만 dense로 학습하고, 나머지 30T 이상을 sparse attention으로 거의 from-scratch 학습하는 데 성공한 것이다. 이는 효율적 구조(희소성)가 풍부한 구조(밀집성)의 토대 위에서만 안정적으로 형성된다는, RL이 pre-training 위에서 조합을 배우는 것과 같은 패턴을 보여준다. 효율은 풍부함을 압축한 결과이지, 풍부함을 건너뛴 지름길이 아니다.
연결된 생각
- 20260603-sparse-attention — Sparse Attention 개념 정의
- 20260603-rl-teaches-composition-not-atomic-skill — 풍부한 토대 위 효율적 학습의 동형 패턴