정의

2025년 AI 업계는 DeepSeek이 주도한 두 가지 핵심 기술(MoE 아키텍처의 대중화, RLVR 추론 패러다임)을 중심으로 프런티어 모델 개발 경쟁이 재편되었다. MoE는 희소성(sparsity)을 활용해 제한된 연산으로 dense 모델 대비 최대 7배의 성능 배수(compute multiplier)를 달성했으며, RLVR은 검증 가능한 보상을 통해 에이전트 포스트트레이닝을 가능하게 했다.

핵심 속성

  • MoE compute multiplier: 학습 연산량이 증가할수록 dense 모델 대비 성능 배수가 커짐 (예: 10^24 FLOPs 기준 7x). Sparsity가 높을수록 multiplier 증가.
  • RLVR 메커니즘: 도구 사용 환경에서 최종 결과물(예: unit test 통과)만으로 보상을 주어, 에이전트가 자율적으로 도구 사용법을 학습. RLHF와 달리 과정이 아닌 결과 중심.
  • atomic skill vs 조합 능력: pre-training에서 기본 기술(atomic skill)을 습득하고, RLVR이 이를 조합하는 능력을 부여. RLVR은 새로운 능력을 창출하기보다 기존 능력을 연결.

관계

인용

“MoE 모델 같은 경우 학습 연산량이 증가하면 증가할수록 이 배수가 더 커집니다. 그러니까 더더욱 좋아지는 거죠. dense model에 비해서 MoE 모델을 쓰지 않을 이유가 사라집니다.” “RLVR을 통해서 모델을 에이전트로 학습시키는 것이 가능해졌다. 최종 결과물만 가지고 평가하는 걸 통해서 모델이 에이전트로서 학습되는 것이 가능해진 겁니다.”

출처

클리핑 · youtube.com