LLM 추론에서 가장 큰 병목은 연산 속도가 아니라 메모리 대역폭이다. 모델 가중치를 메모리에서 연산 유닛으로 스트리밍하는 속도와 KV 캐시를 저장할 메모리 크기가 성능을 결정한다. Apple Silicon의 통합 메모리 아키텍처는 CPU, GPU, Neural Engine이 하나의 고대역 메모리 풀을 공유하여 PCIe 버스를 통한 데이터 전송 오버헤드를 완전히 제거한다. 이는 Nvidia GPU가 아무리 빠른 행렬 연산을 제공하더라도 극복하기 어려운 구조적 차이다.
근거
원문에서는 “LLM 추론은 현재 컴퓨트가 아닌 메모리 대역폭에 병목이 있다”고 명시한다. 실제로 M3 Max Mac에서 Qwen 397B(209GB 모델)를 활성 RAM 5.5GB만으로 ~5.7 토큰/초에 실행한 사례가 제시된다. LLM in a Flash 기법이 Apple 하드웨어에서 특히 효과적인 이유는 SSD에서 가중치를 ~17.5 GB/s로 스트리밍할 수 있기 때문이다. 이는 통합 메모리 덕분에 가능한 일이다.
“Apple M시리즈/A시리즈는 CPU, GPU, Neural Engine을 동일 다이에 배치하고 하나의 고대역 메모리 풀을 공유, 버스 교차·전송 오버헤드·레이턴시 없음”
이 구조는 Apple이 AI를 위해 설계한 것이 아니라 효율성과 배터리 성능을 위해 만든 결과물이지만, LLM 추론에 완벽히 들어맞았다. 이것이 바로 “올바른 기반을 구축한 기업에게 찾아오는 종류의 행운”이다.
연결된 생각
- 20260515-apple-unintentional-moat — 애플의 우연한 해자 개념 (wiki)
- 20260515-commoditized-intelligence-platform-advantage — 지능 상품화와 플랫폼 이점 (garden)