DeepSeek-V4가 64K 이상의 long-context로 pre-training을 진행했다는 사실은 에이전트 시스템의 미래에 중요한 시사점을 준다. 대부분의 모델이 4K~8K로 pre-training을 마친 후 막바지에 context를 늘리는 반면, DeepSeek은 처음부터 긴 문맥을 학습에 통합했다. 이는 단순히 더 긴 문서를 처리할 수 있다는 의미를 넘어, 에이전트가 다룰 수 있는 작업의 복잡성과 규모가 근본적으로 달라진다는 뜻이다. Sparse attention을 통해 long-context의 연산 비용과 메모리 소비를 각각 27% 및 10% 수준으로 낮춘 것은, agent가 수백만 토큰의 맥락에서 추론하고 행동할 수 있는 가능성을 열었다. 이제 모델의 능력은 단순한 QA나 문서 요약이 아니라, 복잡한 멀티스텝 작업을 수행할 수 있는 에이전트의 역량으로 직결될 것이다.
근거
“다룰 수 있는 context의 길이가 길어지면 길어질수록 agent 측면에서는 다룰 수 있는 문제의 복잡성과 규모가 커지는 거죠.”
“Pro 기준으로도 토큰 연산에 들어가는 연산량이 27% 정도로 줄었다, 거의 3분의 1이 된 거죠. 그리고 메모리 소비량은 10분의 1이 됐네요.”
“long-context로 오래 학습하는 게 의미가 크게 있다. long-context 능력에 의미가 크게 있을 거라는 걸 의미하는 거고 그렇다고 하면 중국 모델들도 전부 이 구조를 따라오게 될 겁니다.”
연결된 생각
- 20260606-sparse-attention-deepseek-v4 — long-context를 가능하게 한 핵심 기술
- 20260606-ai-competition-shifts-from-model-to-business — 에이전트의 복잡성 증가가 비즈니스 가치를 창출하는 방법
출처
- 📎 클리핑: 20260613-ep95-ko-transcript