dataofmen
wiki
garden
clippings
Search
검색
다크 모드
라이트 모드
태그: batch
9건의 항목
2026년 6월 07일
추론 인프라의 핵심은 20ms 열차에 배치를 꽉 채우는 게임이다
2026년 6월 07일
추론 서빙에서 배치 크기와 지연 시간의 근본적 트레이드오프
2026년 6월 07일
배치 최적화는 LLM 서빙 경제성의 핵심 결정 요소다
2026년 6월 07일
현대 LLM 추론 인프라 — 시간 분해와 배치 최적화
2026년 6월 06일
GPU 서빙에서 배치 최적화는 토큰당 비용과 지연 시간을 결정한다
2026년 6월 05일
LLM 추론 로프라인 분석 (Roofline Analysis)
2026년 6월 03일
20ms 추론 사이클이 LLM 서빙 경제학의 기본 단위다
2026년 6월 03일
배치 크기가 LLM 서빙의 compute-bound와 memory-bound를 결정한다
2026년 6월 03일
LLM 추론 Roofline 분석의 핵심 변수