노정석이 집요하게 파고든 NVIDIA Nemotron의 하이브리드 아키텍처 이야기는 표면적인 기술 리뷰 이상이다. Mamba(SSM) 블록과 Transformer 블록을 교차로 쌓은 이 구조는 단순히 ‘더 빠른 모델’이 아니라, AI의 생산 요소(compute, data, 알고리즘) 중에서 알고리즘의 효율이 극적으로 증가하고 있음을 보여준다. 30B 전체 파라미터 중 3B만 활성화되어도 frontier에 근접한 성능이 나온다는 사실은, 모든 도메인이 자체 모델을 가질 수 있는 ‘AI 모델 민주화’의 문이 열렸다는 뜻이다.
근거
Nemotron은 Mamba 블록 8개 + Self-Attention 1개 + FFN으로 이루어진 그룹이 여러 겹 쌓인 구조다. 이로 인해 추론 속도는 기존 Transformer 대비 몇 배 빠르면서도 오픈소스로 레시피와 데이터셋까지 공개되었다. 노정석의 분석: “SSM이 RNN의 효율과 Transformer의 병렬화 장점을 결합한 수학적 트릭”이며, “다음 세대 frontier도 hybrid 모델로 이동할 가능성이 매우 높다.”
“Nemotron은 Mamba 기반인데 Mamba block이 8개 쌓인 거 위에 self-attention 놓고, FFN 놓고… 그룹이 여러 개 있어서 무지하게 빨라요. inference time에서 훨씬 적은 연산량으로 Transformer보다 나은 성능을 내고 있다.”
연결된 생각
- 20260606-ai-science-acceleration-paradigm — 과학 영역에서도 하이브리드 모델을 활용한 전용 AI가 빠르게 등장할 것이다. 이는 verifiable reward가 정의된 모든 하위 도메인에 맞춤형 모델이 만들어질 수 있음을 의미한다.
- 20260508-ema-crossover-strategy — 마치 트레이딩에서 전략의 유전자가 진화하듯, AI 아키텍처도 유전자 수준의 대안이 등장하고 있다. 단순한 성능 향상이 아니라 패러다임 자체의 변화다.
출처
- 📎 클리핑: 20260613-ep80-ko-transcript