정의
2025년 AI 업계는 DeepSeek이 제시한 MoE(Mixture of Experts) 아키텍처와 RLVR(Reinforcement Learning with Verifiable Rewards) 방법론이 주류가 되면서, 프런티어 모델 개발의 패러다임이 효율성 추구에서 프런티어 추구로 전환되었다. MoE는 희소성을 통해 주어진 연산량 대비 성능을 극대화하며, RLVR은 검증 가능한 보상을 통해 모델이 원자적 스킬(atomic skill)을 조합하는 능력을 학습하게 한다.
핵심 속성
- MoE의 계산 배수(compute multiplier): 동일 학습 연산량에서 dense 모델 대비 MoE 모델은 7배 이상의 성능을 보이며, 학습 연산량이 증가할수록 이 배수가 커지는 스케일링 법칙이 존재한다.
- sparsity(희소성): 전체 파라미터 중 실제 사용되는 파라미터의 비율이 낮을수록(예: 1/50) 계산 배수가 더 커지지만, 추론 시 메모리 대역폭 제약을 고려해야 한다.
- RLVR의 atomic skill 조합 능력: RLVR은 pre-training에서 학습된 원자적 스킬을 조합하는 능력을 부여한다. 이는 단순한 기존 능력 추출을 넘어 새로운 문제 해결 능력을 창발하게 한다.
- 에이전트 포스트트레이닝: RLVR은 최종 결과물(예: unit test 통과)만으로 평가하여 모델이 도구 사용과 복잡한 추론 체인을 학습하도록 한다.
관계
- 20260607-rlvr-enables-skill-composition — 하위개념: RLVR의 작동 원리를 구체화
- 20260607-continual-learning-and-autonomous-agents — 연장: 2026년 발전 방향
- DeepSeek — 상위개념: MoE와 RLVR의 레시피를 정립한 선구자
- Mixture of Experts — 동등개념: 아키텍처
- Reinforcement Learning from Human Feedback — 대조: RLHF는 챗봇용, RLVR은 에이전트용
인용
“MoE 모델 같은 경우는 학습 연산량이 증가하면 증가할수록 이 배수가 더 커집니다. 그러니까 더더욱 좋아지는 거죠. dense model에 비해서 MoE 모델을 쓰지 않을 이유가 사라집니다.”
“RL을 통해서 atomic skill을 조합하는 능력, 즉 pre-training에서 배웠던 능력을 조합하는 능력을 모델이 배울 수 있다고 생각하고 있습니다.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript