개요
중국 프런티어 랩 Moonshot이 2025년 11월 발표한 추론(thinking) LLM. 약 1조 파라미터급 MoE 모델로, GPT-5·Claude Sonnet 4.5 Thinking과 직접 비교되는 벤치마크 성능을 기록했다.
핵심 정보
- 개발사: Moonshot (중국 프런티어 랩)
- 발표 시점: 2025년 11월 (직전 9월 instruct 모델 → 11월 thinking 모델로 빠른 주기)
- 아키텍처: MoE(Mixture of Experts), ~1조 파라미터급. 대부분의 웨이트가 MoE 부분에 집중
- 경량화: 포스트 트레이닝 단계에서 MoE FFN에 INT4 quantization-aware training 적용 → 실질 메모리 ~500GB(8-GPU 단일 노드에 적재 가능 수준)
- vocabulary: 163,840개, 프리트레이닝 loss ~1.32 (perplexity ~3.7)
- 에이전트 능력: 한 번의 지시에 200~300개의 tool use 수행
- 특성: 코딩·수학뿐 아니라 creative writing 등 범용 지능을 함께 강조. 고유한 문체·스타일 보유
주요 발언 / 기여
“포스트 트레이닝 과정에서 quantization-aware training을 했다고 말하고 있어요. (…) MoE FFN 부분에 대해서 INT4 quantization을 했다고 합니다.”
관계
- 20260602-moe-quantization-model-compression — 적용: MoE INT4 양자화를 통한 경량화의 실제 사례
- 20260602-rl-amplifies-latent-reasoning-in-llm — 연관: thinking 모델로서 RL 포스트 트레이닝의 산물
- 20260602-kim-sunghyun — 분석: 이 모델의 기술적 특징을 해설한 엔지니어