모델의 파라미터 수가 2T에서 10T로 급증한 배경에는 단순히 ‘더 큰 모델이 더 똑똑하다’는 논리 외에 하드웨어 진화가 큰 역할을 했다. Blackwell NVL72가 랙 단위로 20TB의 HBM을 통합하고, GPU 간 통신을 8-way에서 72-way로 확장하면서 비로소 5T~10T급 모델을 실용적으로 서빙할 수 있는 인프라가 갖춰졌다.
하지만 더 흥미로운 통찰은 이것이 ‘모델이 하드웨어의 그림자’라는 사실을 넘어, 이제는 ‘서빙 인프라 엔지니어링이 모델의 경제성을 결정한다’는 점이다. vLLM의 PagedAttention, SGLang의 chunked prefill, 그리고 각 랩이 보유한 독자적인 orchestration 기술들은 동일한 GPU 하드웨어 위에서도 throughput을 2~3배 차이나게 만든다. 결국 모델을 학습시키는 능력보다, 그 모델을 수많은 유저에게 경제적으로 서빙하는 능력이 더 중요한 moat가 되어가고 있다.
근거
“프론티어 랩들의 진짜 어떤 그들의 자산, moat라고 볼 수 있는 것들은 이런 엔지니어링 인프라 능력인 것 같아요. 어떻게 하드웨어를 잘 이해하고 사용자의 워크로드를 잘해서 이 serving throughput을 늘릴 수 있느냐라는 거는 이거는 굉장히 중요한 기술이다.”
20ms마다 출발하는 연산 열차에 배치를 꽉꽉 채우는 일, prefill과 decode를 chunk 단위로 쪼개 섞어 넣는 일, 유저별로 제각각인 KV cache 길이를 page 단위로 관리하는 일 — 이 모든 것은 공개된 논문으로는 알 수 없는 각 랩의 노하우다. API 가격을 통해 역산 가능한 그들의 내부 token economics는 사실상 이 엔지니어링 능력의 간접적 척도다.
연결된 생각
- 20260606-inference-roofline-analysis — Roofline 분석이 서빙 최적화의 수학적 프레임워크를 제공
- 20260606-token-pricing-is-inverse-roofline — 가격 정책이 어떻게 내부 엔지니어링 효율을 반영하는지
- chunked-prefill — 프리필과 디코드 혼합의 구체적 기술
출처
- 📎 클리핑: 20260613-ep96-ko-transcript