Knowledge Distillation이 단순한 증류 기법이 아니라 모델 패밀리 간의 계층적 락인 전략으로 작동하고 있다. 하나의 거대 모델(Mythos 10T)에서 Opus, Sonnet, Haiku를 순차적으로 증류하면, 사용자가 더 큰 모델로 업그레이드할수록 ‘내가 지금까지 쌓은 프롬프트와 워크플로우가 상위 모델에서도 더 잘 작동할 것’이라는 기대가 생긴다. 이는 마치 애플 생태계의 앱 호환성이 락인을 강화하는 것과 유사한 구조다. 사용자가 Sonnet에 적응하면, Opus로의 전환이 자연스럽고, Sonnet은 계속해서 ‘하위 호환’되면서도 항상 상위 모델이 더 뛰어난 성능을 유지하도록 설계된다.
이 전략의 정교함은 ‘하나의 Big Model에서 증류하기 때문에 지식 격차의 통제’가 가능하다는 점이다. Anthropic이 선택한 이 구조는 사용자가 특정 모델에 고착되는 것을 방지하면서도, 전체 시스템에 대한 의존성을 강화한다. 특히 토크나이저 변경으로 인한 토큰 비용 증가(1.3~1.4배)는 가격 인상 없이 전환 비용을 높이는 부가적 요소로 작용할 수 있다.
근거
신정규 대표의 추정을 인용하여, 노정석은 “느낌상 하나의 big model에서 그냥 Opus급, Sonnet급, Haiku급으로 나눠서 knowledge distillation 형태로 해서 그냥 training 하는 것 같다”고 분석했다. 최승준은 “이게 약간 뇌같이 모델하고 하네스를 합쳐서 뇌처럼, CPU처럼 두고 나머지 것들을 분리하고 소통하는 레이어들을 만든 거”라고 Managed Agent 개념을 설명하며, 이 모든 구조가 “하나의 통합된 파이프라인으로 돌아가게 얘들이 잘 만들고 최적화하고 있는 것 같다”고 결론지었다.
“이번에 4.7 system card에 리소스 언급이 되게 많아요. KD를 했다는 건 아니고 audit을 했다, 지금 뭔가 이렇게 감사, 그러니까 이렇게 참여를 하고 있는 형태로 이 system card에는 나오고 있어요.”
연결된 생각
- llm-model-family-strategy — 모델 패밀리 전략은 사용자 락인의 한 형태이자 생태계 지배 전략
- tokenizer-evolution — 토크나이저 변경이 사용자 비용 증가로 이어지면서 락인을 강화할 수 있음 (사용자 습관 형성 후 비용 인상)
- attention-economy — 취향에 의한 의사결정이 중요해지는 세상에서, 사용자가 어떤 모델을 선택할지 결정하는 데 생태계 락인이 미치는 영향
출처
- 📎 클리핑: 20260613-ep98-ko-transcript