정의
AI 추론에서 연산 장치(코어)와 메모리 사이를 데이터가 끊임없이 오가야 하는 구조적 한계. 연산 속도가 아무리 빨라도 데이터 이동(대역폭)이 막히면 전체 추론 속도가 느려지는 병목을 가리킨다.
핵심 속성
- 비유: 도시 외곽 창고(메모리)에 부품을 쌓아 두고 공장(연산)이 필요할 때마다 트럭으로 실어 나르는 구조 — 트럭이 막히면 공장 속도는 무의미
- GPU 방식의 한계: 여러 칩을 묶으면 칩과 칩 사이 데이터 이동이 필연적으로 발생
- wafer-scale 해법: 웨이퍼를 자르지 않고 통째로 쓰면 연산과 메모리가 같은 평면에 붙어 “트럭이 다닐 도로 자체가 사라진다”
- 결함 관리와의 결합: 칩이 클수록 결함 확률이 커지므로, 코어를 잘게 쪼개 결함난 코어만 끄는 설계로 수율 문제를 우회
- 트레이드오프: 이동 병목은 없애지만 메모리 절대 용량·초대형 모델 적재 능력에서는 GPU에 밀림
관계
- 20260606-inference-roofline-analysis — 상위개념: 메모리 바운드/연산 바운드 구분
- 20260607-llm-inference-time-decomposition — 연장: 추론 시간 분해와 최적화
- 20260622-cerebras-systems — 적용: 이 병목을 wafer-scale로 해결한 기업
인용
창고를 공장 옆이 아니라 공장 안에, 그것도 작업대 바로 위에 올려 두는 것이다. (…) 트럭이 다닐 도로가 아예 필요 없어진다.
출처
- 📎 클리핑: 20260622-cerebrascbrs