정의
LLM 서빙 시간(latency)과 토큰당 비용을 메모리 시간(t_mem)과 연산 시간(t_compute)으로 분해해 설명하는 roofline 기반 분석. 배치 크기(한 번에 처리하는 유저 수)에 따라 비용 구조가 결정된다.
핵심 속성
- t_compute: 배치에 선형. active 파라미터만 계산하므로 N_total은 영향 없음
- t_mem: 전체 모델 가중치 로딩 + KV cache 로딩 시간을 메모리 대역폭으로 나눈 값. 배치·context length에 큰 영향
- amortize(분할 상각): 모델 가중치를 한 번 로딩하면 오래 쓸수록 그 비용이 상쇄됨 → 배치가 클수록 토큰당 비용 하락
- 최적 배치: FLOPs/대역폭 비율과 sparsity로 최적점 추정. 20TB HBM에 가중치와 KV cache를 배분
- DeepSeek 효과: Sparse Attention으로 KV cache time과 연산 기울기를 낮춰 전체 frontier curve를 하향 이동
관계
- 20260603-sparse-attention — 연장: KV cache·연산을 낮추는 구조
- 20260603-compute-cycle-is-beginning-not-bubble — 적용: 추론 수요와 인프라
인용
이 메모리를 한 번 올리고 나면 얘는 오래 쓰면 쓸수록 사실 거기에 들어간 비용을 상쇄할 수 있는 거니까 (…) amortize한다