정의
Mixture of Experts (MoE) 아키텍처와 Reinforcement Learning with Verifiable Rewards (RLVR)는 2025년 AI 프런티어의 두 축으로, DeepSeek-R1을 계기로 패러다임 전환을 주도했다. MoE는 제한된 연산 자원 내에서 프런티어급 성능을 가능하게 했고, RLVR은 에이전트 포스트트레이닝의 새로운 기준을 제시했다.
핵심 속성
- MoE의 compute multiplier: 학습 연산량이 증가할수록 dense model 대비 성능 배수가 커짐 (sparsity가 높을수록 multiplier 증가)
- RLVR의 원리: 검증 가능한 정답을 보상으로 사용하여 모델의 추론 및 도구 사용 능력을 학습
- atomic skill 조합 가설: pre-training이 원자적 능력을, RL이 그 조합 능력을 학습한다는 경험적 발견
- 중국 주도권: 2025년 공개된 거의 모든 오픈 프런티어 모델이 중국 기업에서 나옴 (DeepSeek, MiniMax, Z.ai 등)
관계
- DeepSeek-R1 — RLVR의 결정적 사례 (패러다임 전환의 기폭제)
- agent-post-training — RLVR이 에이전트 학습으로 확장된 상위 개념
- Mixture-of-Experts — MoE 아키텍처의 일반적 정의 (하위 개념)
- 20260603-moe-compute-multiplier-scaling — MoE의 scaling law적 속성 (연장)
인용
“DeepSeek이 제한된 연산 자원, 800~2,000대 분량 정도의 연산 자원으로도 프런티어를 노릴 수 있다는 걸 보여줬고 그게 증명되고 나니까 모두가 그렇다면 프런티어를 노려야겠다는 쪽으로 전환되기 시작했죠.” (김성현)