팟캐스트에서 김성현은 MoE의 compute multiplier가 단순히 선형적 이점이 아니라, 학습 연산량이 증가할수록 배수가 커지는 ‘드문 현상’이라고 지적했다. 이는 MoE가 dense 모델 대비 더 효율적으로 scaling law를 따르며, 희소성(sparsity)이 높아질수록 그 이점이 극대화됨을 의미한다. 이러한 특성은 기존의 scaling law 관점에서 예측하지 못했던 새로운 국면이며, MoE가 단순한 트릭이 아니라 근본적인 아키텍처 혁신임을 시사한다. 이로 인해 2025년 이후 모든 주요 모델이 MoE로 전환된 이유를 설명할 수 있다.
개인적으로 이 insight는 많은 AI 연구자들이 여전히 dense model에 집착하는 이유에 대한 의문을 풀어준다. sparse activation이 가능한 MoE는 제한된 자원에서도 큰 모델의 장점을 누릴 수 있는 가장 현실적인 대안임을 명백히 보여준다. 또한 compute multiplier가 scaling exponent 자체를 변화시킨다는 점은, 단순히 연산량 증가 외에도 아키텍처 혁신이 scaling law의 형태를 바꿀 수 있음을 암시한다. 이는 앞으로의 연구 방향이 단순히 데이터와 연산 규모뿐 아니라 아키텍처의 희소성 최적화에도 집중되어야 함을 시사한다.
근거
“이 그래프가 굉장히 중요하고 임팩트가 있는 게… MoE 모델의 성능은 dense model에 비해서 7배 이상… 학습 연산량이 증가할수록 이 배수가 커집니다. 이건 굉장히 드문 현상이거든요.”
연결된 생각
- 20260603-ai-paradigm-shift-moe-rlvr — MoE의 정의와 핵심 속성 (wiki 개념 노트)
- 20260603-rlvr-atomic-skill-combination — MoE와 RLVR의 시너지 관계 탐구 (garden 노트)