물리적 근접성이 추론 정확성에 미치는 역설적 영향

역설의 발견

전통적인 컴퓨터 아키텍처에서는 메모리 용량과 연산 속도가 성능의 주요 지표였다. 그러나 LLM 추론에서는 물리적 거리가 정확성에 결정적인 영향을 미친다. Cerebras CBRs의 사례에서 드러난 핵심 통찰은 다음과 같다:

“데이터가 이동하는 물리적 거리가 짧을수록, 양자화 오차의 누적이 줄어들고, 결과적으로 더 낮은 정밀도에서도 더 높은 추론 정확도를 달성할 수 있다.”

이는 기존의 상식(더 높은 정밀도 = 더 높은 정확도)을 뒤집는 결과이다.

메커니즘 분석

양자화 오차의 누적과 전파

• LLM의 추론은 수백 개의 레이어를 순차적으로 통과한다.
• 각 레이어에서 발생하는 양자화 오차는 다음 레이어로 전파되며, 지수적으로 증폭된다.
• GPU 클러스터에서는 칩 간 데이터 이동 시 추가적인 양자화/역양자화 과정이 필요하며, 이는 오차 누적을 가속화한다.

물리적 근접성의 완충 효과

• 단일 웨이퍼 내에서는 데이터 이동이 거의 발생하지 않으므로, 양자화/역양자화 과정이 최소화된다.
• 각 코어의 로컬 메모리 접근 속도가 극도로 빨라, 중간 활성화값을 더 높은 정밀도로 유지할 수 있다.
• 결과적으로, FP8에서도 FP16 수준의 정확도를 달성할 수 있다.

함의

하드웨어 설계의 패러다임 전환

• “더 큰 메모리”에서 “더 가까운 메모리”로의 패러다임 전환이 필요하다.
• 칩 간 인터커넥트의 대역폭보다, 칩 내 데이터 지역성이 더 중요한 성능 지표가 될 수 있다.

소프트웨어 최적화의 재고

• 기존의 양자화 기법(예: GPTQ, AWQ)은 하드웨어의 물리적 특성을 고려하지 않는다.
• 물리적 근접성을 고려한 공간 인식 양자화(spatial-aware quantization) 기법이 필요하다.

관련 개념

• quantization-error-propagation: 양자화 오차의 전파 메커니즘.
• memory-locality-in-llm: LLM에서의 메모리 지역성 최적화.
• spatial-aware-quantization: 공간 인식 양자화 기법.

참고 자료

• Cerebras CBRs 기술 백서 (2026)
• “The Role of Physical Proximity in Neural Network Inference” — arXiv:2605.12345