정의
MoE(Mixture of Experts)와 RLVR(Reinforcement Learning with Verifiable Rewards)는 2025년 AI 발전을 규정한 두 가지 상호보완적 패러다임이다. MoE는 희소성(sparsity)을 통해 제한된 연산 자원으로도 프런티어급 성능을 달성하는 아키텍처이며, RLVR은 검증 가능한 보상을 통해 모델의 추론 능력과 에이전트 행동을 동시에 학습시키는 포스트트레이닝 방법론이다.
핵심 속성
- MoE의 compute multiplier: 학습 연산량이 증가할수록 Dense 모델 대비 성능 배수(최대 7배+)가 커짐. 이는 scaling law의 exponent 변화로 설명됨.
- 희소성(sparsity): 전체 파라미터 대비 실제 활성화되는 파라미터 비율(1/4 ~ 1/50). 희소성이 높을수록 compute multiplier가 증가.
- RLVR의 학습 메커니즘: 최종 결과물(예: unit test 통과)에만 보상을 부여하여, 모델이 도구 사용과 사고 과정을 자율적으로 최적화. 에이전트 포스트트레이닝의 핵심.
- Atomic skill vs 조합 능력: Pre-training은 개별 원자적 스킬을 획득, RLVR은 이 스킬들의 조합 능력을 학습. RL은 기존 지식을 끌어낼 뿐 아니라 새로운 조합을 창출함.
- DeepSeek의 결정적 기여: V3로 MoE 레시피를 정립하고, R1으로 RLVR 방법을 공개함. 이후 중국 내 모든 프런티어 모델이 이 패러다임을 채택.
관계
- 20260607-data-longtail-bottleneck — 데이터 병목이 RLVR 확장의 주요 제약
- 20260607-intrinsic-motivation-paradigm — 자율적 에이전트를 위해 내적 동기와 인간 정렬이 필요
- deepseek-r1-paper — RLVR 원천 논문 (stub)
- Mixture-of-Experts — MoE 일반 개념
인용
“MoE 모델 같은 경우는 학습 연산량이 증가하면 증가할수록 이 배수가 더 커집니다. 그러니까 더더욱 좋아지는 거죠.” “RLVR을 통해서 모델을 에이전트로 학습시키는 것이 가능해졌다. 최종 결과물에 보상을 주는 것만으로.”