분산 추론에서의 정보 손실 메커니즘과 Cerebras의 해결책

문제의 본질

분산 추론 시스템(GPU 클러스터)에서는 모델의 파라미터와 중간 활성화값이 여러 칩에 분산되어 저장된다. 이때 발생하는 정보 손실은 크게 두 가지 메커니즘으로 발생한다:

어텐션 레이어의 소프트맥스 계산은 **전역적인 소프트맥스(global softmax)**를 필요로 한다.
분산 환경에서는 각 칩이 로컬 소프트맥스만 계산할 수 있으며, 이를 전역 소프트맥스로 변환하는 과정에서 **수치적 오차(numerical error)**가 발생한다.
특히, 로컬 소프트맥스의 최대값(max)과 합(sum)을 교환하는 과정에서 **언더플로우(underflow)**와 **오버플로우(overflow)**가 빈번하게 발생한다.

Cerebras CBRs는 단일 웨이퍼 내에서 모든 연산을 수행함으로써 위의 두 가지 정보 손실 메커니즘을 근본적으로 제거한다:

전역 소프트맥스의 단일화: 모든 어텐션 헤드가 동일한 물리적 메모리 공간에 접근하므로, 전역 소프트맥스를 단일 연산으로 계산할 수 있다.
양자화 제거: 칩 간 데이터 이동이 없으므로, 중간 활성화값을 양자화할 필요가 없다. 모든 연산이 FP16 또는 FP8로 유지되며, 양자화 오차 누적이 발생하지 않는다.

이 사례는 분산 시스템이 항상 확장성의 해결책이 아님을 시사한다. 특히, LLM 추론과 같이 **전역적 의존성(global dependency)**이 높은 작업에서는, 물리적 통합이 분산보다 더 나은 성능을 제공할 수 있다.