DeepSeek-V4는 pre-training 초기부터 64K 이상의 context로 학습한다. 이전에는 4K~8K로 pre-training을 마친 후 마지막에만 context length를 늘렸지만, 이제는 long-context를 처음부터 통합함으로써 모델이 긴 의존성을 자연스럽게 학습하게 한다. 이는 단순히 ‘많은 문서를 넣는’ 것을 넘어, agent 작업에서 다룰 수 있는 문제의 복잡성과 규모 자체를 키우는 변화다.
근거
long-context의 중요성이 그때보다도 훨씬 더 커진 상황이 됐죠. 그때의 long-context 중요성이 ‘문서를 좀 많이 넣고 싶다’ 같은 느낌이었다면, 지금의 long-context 중요성은 agent 맥락에서 중요해지는 상황이 있거든요. 다룰 수 있는 context의 길이가 길어지면 길어질수록 agent 측면에서는 다룰 수 있는 문제의 복잡성과 규모가 커지는 거죠.
연결된 생각
- 20260607-deepseek-v4-sparse-attention — sparse attention이 long-context pre-training을 가능하게 함
- agentic-post-training — post-training도 1M context로 확장
출처
- 📎 클리핑: 20260613-ep95-ko-transcript