DeepSeek-V4의 가장 놀라운 점은 희소 어텐션을 처음부터(from scratch) 학습하는 데 성공했다는 것이다. 기존 연구들은 희소 어텐션의 학습이 너무 어려워 dense attention 이후에 post-training 개념으로 얹는 절충안을 채택했지만, DeepSeek은 초기 1T 토큰만 dense로 학습하고 나머지를 sparse로 전환하는 전략으로 난제를 돌파했다. 이는 단순한 엔지니어링 성과를 넘어, 딥러닝에서 sparse 연산의 근본적인 미분 불가능 문제를 극복할 수 있는 가능성을 열었다는 점에서 의미가 깊다.
근거
“Chinese AI labs found sparse attention too hard to train from scratch… DeepSeek pushed through and succeeded, though the process was painful.”
연결된 생각
- 20260606-deepseek-v4-sparse-attention-architecture — 희소 어텐션의 구체적인 구성요소와 특성
- 20260606-accelerated-model-releases-as-new-normal — 모델 업데이트 가속화 추세
출처
- 📎 클리핑: 20260613-ep95-ko-transcript 클리핑 · youtu.be