팟캐스트에서 노정석 대표가 NVIDIA Nemotron의 하이브리드 아키텍처(Mamba blocks + attention + FFN)를 설명할 때, 나는 ‘이것이 진짜 게임 체인저겠구나’ 직감했다. Transformer는 병렬 학습에 탁월하지만 추론 시 O(n²)의 복잡도가 발목을 잡고, RNN은 추론에 효율적이지만 학습이 순차적이어서 느리다. Mamba는 이 둘의 장점만 취하는 SSM(State Space Model) 계열이다. Nemotron은 Mamba block 8개 + attention 1개를 하나의 그룹으로 묶어 30B 파라미터에서 3B만 활성화하는 MoE 방식으로, 속도와 성능 모두를 잡았다.
이것이 중요한 이유는 ‘아키텍처의 다양성’이 다시 살아나고 있다는 신호이기 때문이다. 2023~2024년에는 사실상 Transformer만이 유일한 대안이었다. 하지만 이제 NVIDIA가 완전 오픈소스로 레시피를 공개하면서, 도메인 특화 모델도 적은 연산으로 프론티어에 준하는 성능을 낼 수 있는 길이 열렸다. 개인적인 생각으로, 2026년에는 각 vertical별로 최적화된 하이브리드 모델이 쏟아져 나올 것이고, 이것이 ‘과학의 해’를 기술적으로 뒷받침할 것이다.
근거
“RNN처럼 inference time에 매우 효율적인 구조를 가지면서 Transformer처럼 학습 시에 parallelizing을 할 수 있으면 얼마나 좋을까 그 intuition을 만든 게 SSM.” “Nemotron은 Mamba block이 한 8개 쌓인 거 위에 self-attention 놓고… 30B 전체 크기의 한 3B 정도 activation 되는 모델로 돼 있는데 무지하게 빨라요.”
“대안적인 아키텍처가 사실은 그걸로 scaling 넣을 만큼 투자가 없었는데 작동하는 게 보여지면 우후죽순 또 아키텍처를 갈아 끼울 수 있는 거잖아요.”
연결된 생각
- 20260607-science-low-hanging-fruit — 더 효율적인 아키텍처는 더 많은 low-hanging fruit 탐색을 가능하게 한다
- 20260607-wet-lab-automation-bottleneck — 하이브리드 아키텍처의 추론 속도 향상이 실시간 로봇 제어에 필수적이다
- 20260508-grpo-reinforcement-learning — 학습 효율이 높아질수록 verifiable reward 기반 자기 개선 루프가 더 빠르게 작동한다
출처
- 📎 클리핑: 20260613-ep80-ko-transcript