정의
2025년 AI 모델 개발은 (1) Mixture of Experts(MoE) 아키텍처가 사실상의 표준이 되었고, (2) RLVR(Reinforcement Learning with Verifiable Rewards)이 추론 모델과 에이전트 포스트트레이닝의 핵심 방법론으로 자리잡은 패러다임 전환기였다.
핵심 속성
- MoE의 compute multiplier: 학습 연산량이 증가할수록 dense 모델 대비 MoE의 성능 배수가 7배 이상으로 커짐. Sparsity(실제 사용 파라미터 비율)가 낮을수록 배수 증가.
- RLVR의 원리: 최종 결과물(예: unit test 통과)만으로 보상을 주어, 모델이 도구 사용·추론 과정을 스스로 학습하게 함. 기존 능력(atomic skill)을 조합하는 능력을 RL이 부여한다는 경험적 발견.
- 데이터와 인프라의 암묵지: 논문에 드러나지 않는 데이터 정제·하이퍼파라미터·인프라 결합의 노하우가 경쟁력의 실질적 원천. “모델은 제품, 데이터는 모델”이라는 명제.
- 중국 주도의 오픈 프런티어 붐: DeepSeek, Kimi, MiniMax 등이 제한된 연산 자원 내에서 MoE + RLVR 레시피로 준프런티어급 모델을 연속 공개. Llama 4 등 비중국 모델은 상대적으로 부진.
관계
- 20260606-moe-is-mandatory-not-optional — MoE 표준화의 구체적 근거
- 20260606-rlvr-enables-combinatorial-skills — RLVR의 조합 능력 부여 메커니즘
- 20260606-bottleneck-is-internal-motivation-human-alignment — 2026년 3대 과제의 수렴점
- DeepSeek-R1 — RLVR의 대표적 구현
- mixture-of-experts-architecture — 상위 개념
- agent-post-training — 하위 개념
- scaling-law — 연장 (compute multiplier의 스케일링)
인용
“MoE 모델 같은 경우는 학습 연산량이 증가하면 증가할수록 이 배수가 더 커집니다. dense model에 비해서 MoE 모델을 쓰지 않을 이유가 사라집니다.” “RL을 통해서 어떤 능력을 배울 수 있냐면 pre-training에서 배웠던 능력을 조합하는 능력을 모델이 배울 수 있다고 생각하고 있습니다.”