Transformer가 AI 혁명을 이끌었지만, 그 한계는 명백했다: 컨텍스트 길이에 따른 O(n²) 연산량 증가. 반면 RNN은 효율적이지만 병렬 학습이 불가능했다. NVIDIA Nemotron이 제시한 Mamba + Transformer 하이브리드는 이 두 마리 토끼를 모두 잡는 ‘유전자 변형’ 아키텍처다. RNN의 효율과 Transformer의 병렬 학습 능력을 결합해, 30B 파라미터 중 단 3B만 활성화되는 MoE 구조로 놀라운 속도를 달성했다. 이는 단순한 기술적 진보를 넘어, AI 모델의 경제성 자체를 바꾼다. 만약 이 하이브리드 접근법이 frontier 모델로 확장된다면, 동일한 컴퓨팅 자원으로 더 크고 똑똑한 모델을 훈련할 수 있게 된다. 더 중요한 점은 NVIDIA가 이 레시피와 코드, 데이터셋을 완전히 오픈소스로 공개했다는 사실이다. 이는 ‘모든 vertical이 자신만의 frontier급 모델을 가질 수 있는 시대’의 서막을 알린다.
근거
노정석은 Nemotron의 구조를 상세히 설명하며 “Mamba block이 8개 쌓인 위에 self-attention 놓고, 그 위에 FFN… 그룹이 8~9개 구성”되어 있다고 분석했다. 그는 “다음 세대 frontier도 hybrid Mamba + Transformer hybrid 모델로 이동할 가능성이 매우 높다”고 전망했다. 최승준은 이를 “대안적인 유전자”라고 표현하며, “작동하는 게 보여지면 우후죽순 아키텍처를 갈아 끼울 수 있다”고 덧붙였다.
“저의 개인적인 예상은 다음 세대 frontier도 이런 hybrid Mamba + Transformer hybrid 모델로 이동할 가능성이 매우 높겠다는 생각이 들어요.”
연결된 생각
- 20260603-ai-accelerated-science-paradigm — 효율적인 아키텍처는 과학 연구에 필요한 컴퓨팅 비용을 획기적으로 낮춘다
- 20260603-genesis-mission-implications — 국가 프로젝트에도 이러한 효율적 아키텍처가 채택될 가능성