Sparse Attention은 연산 효율성만 보면 매력적이지만, 실제로 from scratch 학습시키는 과정은 극도의 불안정성과 싸움의 연속이었다. DeepSeek 팀이 1년 넘게 씨름하며 나온 CSA, HCA, Anticipatory Routing 같은 혁신들은 단순한 알고리즘 개선이 아니라, gradient의 미분 불가능성과 MoE 라우팅의 불안정성을 엔지니어링 총력전으로 극복한 결과다. 이 과정에서 드러난 중요한 교훈은 “아키텍처 혁신은 학습 안정성이라는 숨은 비용을 동반하며, 이를 해결하는 과정이 오히려 더 큰 통찰을 낳는다”는 점이다.
근거
“sparse attention을 그냥 from scratch로 학습하기는 어렵고 역설적이지만 dense attention이 있어야 sparse attention을 학습할 수 있다.”
“이 부분에서 불안정하고 학습하기 어려운 부분이 발생합니다.”
“전력 throttling이 걸리기 시작했다… 이제 전력이 제약이 되는 거죠.”
이러한 발언들은 단순한 기술 보고를 넘어, 실전에서 부딪힌 구조적 한계를 적나라하게 보여준다. 특히 Anticipatory Routing(과거 weight로 현재 라우팅)은 기존 MoE 학습의 자동 강화 루프를 의도적으로 끊는 창의적 해결책이며, 이는 학습 불안정성 문제가 얼마나 근본적인지를 시사한다.
연결된 생각
- 20260606-deepseek-v4-architecture-innovation — DeepSeek-V4의 전체 아키텍처 개요
- 20260606-ai-competition-shifts-to-post-training — post-training으로의 무게중심 이동과 연결
출처
- 📎 클리핑: 20260613-ep95-ko-transcript