2년 전만 해도 long-context의 중요성은 “문서를 많이 넣고 싶다”는 정도였다. 하지만 에이전트 시대가 열리면서 long-context는 단순한 입력 길이의 문제가 아니라, 모델이 다룰 수 있는 작업의 복잡성과 규모를 결정하는 핵심 요소로 변했다. DeepSeek-V4가 sparse attention을 거의 from-scratch 학습에 성공한 것은 단순한 비용 절감 이상의 의미를 가진다. 연산량을 1/3로, KV cache 메모리를 1/10로 줄이면서도 1M token context를 지원하는 이 아키텍처는, 에이전트가 여러 도구를 호출하고 복잡한 추론 체인을 유지해야 하는 상황에서 근본적인 경쟁력이 된다. 캐싱이나 경량 모델로는 해결할 수 없는 구조적 효율을 아키텍처 자체에서 확보한 것이다.
근거
“long-context의 중요성이 그때보다도 훨씬 더 커진 상황이 됐죠. … 지금의 long-context 중요성은 agent 맥락에서 중요해지는 상황이 있거든요. 다룰 수 있는 context의 길이가 길어지면 길어질수록 agent 측면에서는 다룰 수 있는 문제의 복잡성과 규모가 커지는 거죠.” “Pro 기준으로도 토큰 연산에 들어가는 연산량이 27% 정도로 줄었다, 거의 3분의 1이 된 거죠. 그리고 메모리 소비량은 10분의 1이 됐네요.”
연결된 생각
- DeepSeek-V4의 세 가지 아키텍처 혁신 — 기술적 기반
- 고통이 혁신을 낳는다 — DeepSeek-V4의 학습 불안정성이 드러낸 정면돌파의 가치 — 이 혁신을 가능하게 한 과정
- LLM 비용과 성능의 트레이드오프 — 더 넓은 비용 관점 (예시)
출처
- 📎 클리핑: 20260613-ep95-ko-transcript