정의
2025년 AI 업계는 MoE(Mixture of Experts) 아키텍처의 대세화와 RLVR(Reinforcement Learning with Verifiable Rewards) 기반 포스트트레이닝의 정립으로 특징지어진다. DeepSeek이 선도한 이 두 패러다임은 제한된 연산 자원으로도 프런티어 모델을 구축할 수 있는 길을 열었고, 에이전트 학습의 새로운 방법론을 제시했다.
핵심 속성
- MoE의 compute multiplier: sparse MoE 모델은 dense 모델 대비 학습 연산량 대비 성능이 7배 이상 우수하며, 규모가 커질수록 그 격차가 확대된다. 이는 일종의 scaling law로 exponent 자체가 변화하는 형태를 띤다.
- RLVR의 역할: 검증 가능한 정답을 보상으로 사용하여 모델이 pre-training에서 배운 atomic skill들을 조합하는 능력을 학습하게 한다. 이는 기존 RLHF와 달리 에이전트 포스트트레이닝을 가능하게 한 핵심 메커니즘이다.
- DeepSeek의 기여: DeepSeek-R1은 RLVR 방법을 공개했고, DeepSeek-V3 아키텍처는 MoE의 표준 레시피로 자리잡았다. 이후 MiniMax, Z.ai, Moonshot(Kimi) 등 중국 기업들이 이를 채택하여 프런티어 모델 붐을 일으켰다.
- 데이터 병목: 모델 성능 향상의 주요 병목은 데이터 품질과 다양성에 있으며, 특히 99%에서 99.9%로 가는 롱테일 문제가 핵심 과제로 부상했다. 사람이 수동으로 만드는 데이터로는 한계가 있으며, 모델의 자기 주도 학습이 필요해진 상황이다.
관계
- 20260603-moe-compute-multiplier-scaling — MoE의 scaling law적 특성에 대한 통찰 (garden 노트)
- 20260603-rlvr-atomic-skill-combination — RLVR이 atomic skill 조합 능력을 학습시키는 원리 (garden 노트)
- 20260603-data-bottleneck-intrinsic-motivation — 데이터 병목과 내적 동기 문제의 연결점 (garden 노트)
- 20260603-deepseek-r1-impact — DeepSeek-R1이 촉발한 RLVR 패러다임 전환 (추가 garden 노트가 필요할 경우)
인용
“MoE 모델 같은 경우는 학습 연산량이 증가하면 증가할수록 이 배수가 더 커집니다. 그러니까 더더욱 좋아지는 거죠. dense model에 비해서 MoE 모델을 쓰지 않을 이유가 사라집니다.” “RL을 통해서… pre-training에서 배웠던 능력을 조합하는 능력을 모델이 배울 수 있다고 생각하고 있습니다.”