최근 모델 크기가 5T에서 10T로 급증한 것은 단순한 아키텍처 개선만이 아니라 NVIDIA NVL72와 같은 대용량 HBM을 갖춘 랙이 등장했기 때문이다. 모델 아키텍처는 서빙 가능한 하드웨어의 그림자처럼 결정되며, 반대로 하드웨어도 모델의 요구를 충족시키는 방향으로 진화한다. 이 공진화(co-evolution)가 현대 AI 발전의 핵심 동력이다. 예를 들어 NVL72 이전에는 1~2T 모델이 한계였지만, 20TB HBM 랙이 등장하면서 5T 모델의 실시간 서빙이 가능해졌다. 앞으로 Rubin 시대로 넘어가면 또 다른 도약이 일어날 것이다.
근거
“Blackwell NVL72 GPU 간 통신이 72개가 한 랙에서 하나로 연결되고, HBM 용량이 20TB에 달하면서 5T 모델의 서빙이 가능해졌다. 출시 시기를 보면 모델 크기가 급증한 시점이 NVL72 출시와 일치한다.”
연결된 생각
- 20260607-llm-inference-roofline-analysis — 하드웨어 사양이 t_memory와 optimal batch에 직접 영향.
- 20260607-batch-filling-economics — 더 큰 모델일수록 배치 최적화의 중요성이 커짐.
출처
- 📎 클리핑: 20260613-ep96-ko-transcript