작년 DeepSeek-V3 때 long-context의 중요성은 “문서를 많이 넣고 싶다”는 수준이었다. 그러나 지금은 에이전트가 다룰 수 있는 문제의 규모와 복잡성이 컨텍스트 길이에 직접 비례한다. DeepSeek-V4가 pre-training 단계부터 64K 이상의 컨텍스트로 학습한 것은, long-context 능력이 단순한 메모리 확장이 아니라 에이전트의 작업 범위를 결정짓는 핵심 요소로 인식되었기 때문이다.
근거
“long-context의 중요성이 그때보다도 훨씬 더 커진 상황이 됐죠. 그때의 long-context 중요성이 ‘문서를 좀 많이 넣고 싶다’ 같은 느낌이었다면, 지금의 long-context 중요성은 agent 맥락에서 중요해지는 상황이 있거든요. 다룰 수 있는 context의 길이가 길어지면 길어질수록 agent 측면에서는 다룰 수 있는 문제의 복잡성과 규모가 커지는 거죠.”
DeepSeek-V4는 sparse attention 덕분에 1M 토큰까지 추론이 가능하며, post-training에서도 1M 컨텍스트로 RL을 수행했다.
연결된 생각
- 20260606-deepseek-v4-sparse-attention — 긴 컨텍스트를 실현하는 핵심 기술
- 20260606-post-training-is-next-battle — post-training에서의 long-context 활용
출처
- 📎 클리핑: 20260613-ep95-ko-transcript