우리는 지금 AI 성능 경쟁이 단순한 데이터·컴퓨팅 규모 경쟁에서 아키텍처 혁신 경쟁으로 무게중심이 이동하는 순간을 목격하고 있다. DeepSeek-V4의 sparse attention은 이 전환을 상징하는 사례다. 기존의 장문맥 처리 비용은 컨텍스트 길이에 따라 이차적으로 증가했지만, DeepSeek은 아키텍처 수준에서 이 문제를 73% 연산량 감소, 90% 메모리 감소로 해결했다. 이는 단순한 최적화가 아니라, 문제의 근본 구조를 재정의한 셈이다.
더 중요한 점은 이 혁신이 from-scratch 학습이 거의 불가능하다는 업계의 통념을 깨고 이루어졌다는 사실이다. 토큰을 ‘선택’하는 top-k 연산은 미분 불가능해서 학습이 극도로 어렵다고 알려져 있었고, 중국의 다른 연구팀들은 이 접근을 포기했다. 그런데 DeepSeek은 1년간의 시행착오 끝에 이 문제를 정면 돌파했다. 기술적 한계를 수용하기보다 아키텍처 자체를 바꿔 해결한 것이다.
이러한 아키텍처 혁신의 가속화는 몇 가지 중요한 함의를 가진다. 첫째, 단순히 더 큰 모델을 만드는 것보다 더 똑똑한 구조를 설계하는 것이 경쟁력의 핵심이 되고 있다. 둘째, 아키텍처 혁신은 post-training, 추론 인프라, 하드웨어 설계까지 전방위적인 변화를 요구한다. DeepSeek이 mega-kernel 최적화로 전력 throttling에 도달했다는 일화는, 소프트웨어 혁신이 하드웨어의 물리적 한계와 충돌하는 지점을 보여준다.
근거
“sparse attention을 그냥 from scratch로 학습하기는 어렵고 역설적이지만 dense attention이 있어야 sparse attention을 학습할 수 있다. 이런 결론으로 흘러갔습니다.”
“Pro 기준으로도 토큰 연산에 들어가는 연산량이 27% 정도로 줄었다, 거의 3분의 1이 된 거죠. 그리고 메모리 소비량은 10분의 1이 됐네요.”
연결된 생각
- 20260607-deepseek-v4-sparse-attention — sparse attention의 기술적 상세
- 20260607-llm-long-context-bottleneck — 기존 장문맥 처리의 한계와의 대비
- 20260607-hardware-software-co-innovation — mega-kernel 최적화가 시사하는 하드웨어-소프트웨어 공진화
출처
- 📎 클리핑: 20260613-ep95-ko-transcript