DeepSeek-V4의 논문에서 가장 인상적인 부분은 ‘기술적 경이’만이 아니라, 학습 불안정성과 싸운 흔적들이다. 요즘 LLM 학습은 ‘너무너무 안정적이다’라고 자랑하는 것이 일반적인데, DeepSeek-V4는 정반대의 경험을 상세히 공개했다. 게이팅 수정, clamping, 그리고 무엇보다 Anticipatory Routing — 과거의 weight로 routing을 미리 계산하는 이 독특한 기법은 대부분의 연구자조차 ‘왜 이렇게 했는지 모르겠다’고 말할 정도로 난해하다. 나는 이 선택을 ‘정규화’의 일종으로 본다. 즉, MoE 라우팅이 지나치게 강한 자기루프에 빠져 일반화를 해치는 것을 막기 위해, 의도적으로 연결을 끊는 방식으로 해석할 수 있다. 이 고통스러운 과정을 통해 DeepSeek은 sparse attention의 from-scratch 학습을 실현했고, 그 결과는 long-context 효율성에서의 압도적 우위였다. 이는 단순한 엔지니어링이 아니라, ‘안 되는 길을 포기하지 않고 어떻게든 비집고 들어간’ 과학적 집념의 사례다.
근거
“학습 불안정성을 많이 겪었어요. … 왜 그랬는지 모르겠는데 게이팅 부분을 약간 바꾸고 … Anticipatory Routing이라는 이 개념은 다들 좀 이상하게 생각합니다. … 왜 이렇게까지 해서 이걸 구현해야 했던 이유가 미스터리해요.” “이렇게까지 해서 이걸 구현해야 했던 이유, 이 과정이 좀 미스터리합니다.” “여기서도 학습 불안정성이라는 것 자체가 요즘 자주 안 나오는 이야기거든요. … 그런데 여기서는 학습 불안정성을 많이 겪었어요.”
연결된 생각
- DeepSeek-V4의 세 가지 아키텍처 혁신 — 이 고통의 결과물
- 에이전트 시대의 Long-Context 효율은 아키텍처 혁신에서 나온다 — 혁신이 낳은 실질적 가치
- 어려움이 혁신을 촉발한다 — 유사한 패턴 (예시)
출처
- 📎 클리핑: 20260613-ep95-ko-transcript