정의
AI 모델 릴리스가 약 70일 간격으로 가속화되고, 프론티어 연구소들은 Knowledge Distillation(KD)을 통해 하나의 거대 모델에서 여러 크기의 모델을 증류하는 전략을 취하고 있다. 이는 모델 업데이트 주기 단축과 사용자 락인을 동시에 달성하는 구조적 패턴이다.
핵심 속성
- 70일 릴리스 주기: Opus 라인의 릴리스 간격이 평균 70일로 수렴 (2025년 5월 Opus 4 → 2026년 2월 Opus 4.7). Sonnet과 Haiku의 라인은 릴리스 간격이 넓어지는 반면, Opus는 계속 좁아지고 있다.
- Knowledge Distillation: 하나의 Big Model(예: Mythos 10T 파라미터)에서 Opus, Sonnet, Haiku를 증류하는 방식으로 추정된다. 이는 off-policy KD(one-hot / logit 분포 학습)와 on-policy KD(student 생성 답변을 teacher가 평가)의 혼합 형태로 진행된다.
- Tokenizer 변경: Opus 4.7에서 토크나이저의 vocabulary 크기가 줄어들어 영어와 코드에서 토큰 소비량이 1.3~1.4배 증가했다. CJK 언어는 영향이 없었다.
- Capability Overhang: 모델의 잠재 능력이 사용자의 활용 능력을 초과하는 상태가 지속되어, ‘능력을 잘 꺼내 쓰는가’가 경쟁의 핵심 요인이 되었다.
- 집중 전략 분화: Anthropic은 텍스트와 코딩 에이전트(Claude Code, Claude Design)에 집중하고, Google DeepMind는 과학 분야(AI for Science)에 집중하며, OpenAI는 GPT-5.5 등 추론 모델 라인을 병행 개발한다.
관계
- ai-model-release-cadence — 상위개념: 모델 릴리스 주기 패턴 일반화
- knowledge-distillation-technique — 하위개념: KD 방법론의 구체적 절차와 변형
- tokenizer-evolution — 연장: 토크나이저 변경이 사용자 비용과 전략에 미치는 영향
- attention-economy — 대조: 정보 과잉 속에서 취향과 의사결정의 가치 부각
- ai-for-science-strategy — 대조: Google DeepMind의 과학 중심 전략과의 비교
인용
“Opus 4가 5월 22일이었어요. 그리고 4.1은 8월 5일, 4.5는 11월이었죠. 그리고 4.6은 2월 5일… 대략 한 70일 간격마다 모델이 나온다고 봐야 돼요.”
“느낌상 하나의 big model, 예를 들어 그 big model을 Mythos라고 쳐보죠. 제일 뛰어난 모델에서 그냥 Opus급, Sonnet급, Haiku급으로 나눠서 그 knowledge distillation 형태로 해서 그냥 training 하는 것 같다고 말씀을 하신 것 같아요.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript