최근 모델 사이즈가 1T에서 5T, 10T로 급증한 이유는 단순히 알고리즘 발전만이 아니라 하드웨어의 변화 때문이다. Blackwell NVL72는 72개의 GPU를 하나의 랙으로 묶어 NVLink로 초고속 연결하고, 총 20TB의 HBM 메모리를 제공한다. 이로 인해 MoE 구조의 sparsity 이점을 최대한 활용할 수 있게 되었다. 이전 H100 시절에는 GPU 당 메모리가 80GB에 불과하고, 랙 내 GPU 간 통신이 8개로 제한적이어서 활성 파라미터 수를 크게 늘리기 어려웠다. 지금은 하나의 랙에서 5T 파라미터 모델을 FP8로 적재하고도 15TB의 KV 캐시 공간이 남는다. 모델을 만드는 연구자들이 하드웨어의 제약을 먼저 고려하고 아키텍처를 설계하는 시대가 되었다는 점이 인상적이다.
근거
“NVL72 GPU 간 통신이 예전에는 기존에는 8개까지만 됐는데 지금은 72개가 됐고, 개별 GPU 메모리도 288GB까지 늘어났다. 이 하드웨어의 구조를 모델이 정말 잘 이용하고 있고, 모델의 아키텍처도 형성되고 있다.”
연결된 생각
- 20260607-llm-inference-time-decomposition — 하드웨어 변화가 inference time 분해의 각 항목에 미친 영향