NVIDIA Nemotron이 공개한 Mamba-Transformer hybrid 아키텍처는 단순한 엔지니어링 효율화가 아니다. RNN의 추론 효율성(context를 하나의 벡터로 요약)과 Transformer의 병렬 학습 능력(token 간 관계 계산)을 결합한 이 구조는 인간 뇌의 작동 방식에 한 걸음 더 가까워진 시도다.
RNN은 뇌가 과거 경험을 압축된 기억으로 저장하는 방식과 유사하고, Transformer는 순간순간의 모든 관계를 재계산하는 직렬 처리와 닮았다. 실제 뇌는 이 둘을 동시에 쓴다. Nemotron은 Mamba block 8개 + Attention block 1개의 그룹을 쌓아 30B 파라미터에서 3B만 활성화되는 구조로, 추론 속도가 Transformer 대비 몇 배 빠르다.
이것이 의미하는 바는 크다. “대안적인 유전자”라고 표현된 이 아키텍처는 frontier 모델이 더 이상 Transformer라는 단일 유전자에 갇혀 있지 않음을 보여준다. NVIDIA가 레시피와 데이터셋까지 전부 공개한 것은, 칩 판매를 위한 전략이지만 동시에 생태계 전체가 더 효율적인 방향으로 수렴하도록 유도하는 움직임이다.
근거
Nemotron 논문에 따르면, hybrid 구조는 동일한 연산 예산에서 순수 Transformer보다 더 나은 성능을 보인다. 특히 긴 컨텍스트에서 Mamba의 선형 복잡도(O(n))가 Transformer의 이차 복잡도(O(n²))를 압도한다.
“SSM이 갖고 있는 몇 개의 문제를 조금 해결한 게 Mamba인데, 그 사이사이는 그냥 RNN 느낌이랑 매우 비슷하다.” — 노정석
Demis Hassabis가 “모든 게 고전 컴퓨터로 복제 가능하다”는 계산주의 신념을 밝힌 것과 맥락이 닿는다. 아키텍처가 생물학적 효율로 수렴한다면, 계산주의는 더 설득력을 얻는다.
연결된 생각
- 20260607-ai-science-acceleration-paradigm — 효율적인 아키텍처가 과학 가속화의 연료를 공급
- 20260607-agi-purpose-loss-question — 기술 발전이 인간 목적 질문을 촉발
출처
- 📎 클리핑: 20260613-ep80-ko-transcript