NVIDIA Nemotron이 공개한 Mamba+Transformer 하이브리드 아키텍처는 RNN의 inference 효율성과 Transformer의 학습 parallelization 장점을 결합한 ‘대안적 유전자’다. 30B 파라미터 중 3B만 활성화되는 MoE 구조로, 동일한 자원 대비 훨씬 빠른 추론 속도를 제공한다. 이는 단순한 성능 향상을 넘어, 더 작은 모델로도 frontier급 성능을 낼 수 있는 가능성을 열어준다. 만약 frontier 모델들이 다음 세대에 이 하이브리드로 전환한다면, inference 비용이 급감하고 AI 서비스의 보편화가 훨씬 가속화될 것이다.
근거
노정석은 Nemotron의 구조를 상세히 설명하며 “Mamba block이 8개 쌓인 위에 self-attention 하나, 그리고 FFN… 이런 그룹이 8~9개”라고 언급했다. 또한 “다음 세대 frontier도 이런 hybrid Mamba 플러스 Transformer hybrid 모델로 이동할 가능성이 매우 높다”고 전망했다. 이미 이 아키텍처로 inference 속도가 ‘몇 배’ 향상되었으며, 실제로 Nemotron은 완전 오픈소스로 공개되어 누구나 재현할 수 있다.
“Mamba가 갖고 있는 문제는 얘는 RNN처럼 하나의 context vector 안으로 이 sequence를 다 요약하는 그런 느낌이고 Transformer는 token들 사이의 관계를 끊임없이 계산하는 느낌… 요새 나오는 모델들이 이 hybrid라고 그러거든요.” — 노정석
연결된 생각
- 20260606-ai-driven-science-paradigm-shift — 더 효율적인 아키텍처는 과학 연구 자동화의 인프라 비용을 낮춰 패러다임 전환을 가속한다.
- 20260606-verifiable-reward-domains-exceed-human — inference 비용이 낮아지면 더 많은 도메인에서 verifiable reward 학습을 적용할 수 있게 된다.
출처
- 📎 클리핑: 20260613-ep80-ko-transcript