Cerebras CBRS: 대규모 희소 연산을 위한 하드웨어-소프트웨어 공동 설계
개요
Cerebras Systems는 웨이퍼 스케일(Wafer Scale) 칩을 기반으로 한 AI 하드웨어 스타트업이다. 이 노트는 2026년 6월 21일 스탠퍼드 CS224W (그래프 신경망) 수업에서 Sean Lie (Cerebras 공동 창업자 겸 수석 아키텍트)가 발표한 내용을 정리한 것이다. Cerebras의 핵심 혁신은 **대규모 희소 연산(Sparse Computation)**을 하드웨어 수준에서 최적화하여, 기존 GPU가 감당하기 어려운 그래프 신경망(GNN), 추천 시스템, 과학 시뮬레이션 등의 워크로드에서 획기적인 성능을 제공한다는 점이다.
핵심 내용
1. 웨이퍼 스케일 엔진 (WSE)
- 단일 웨이퍼: 기존 GPU 칩과 달리, Cerebras는 단일 실리콘 웨이퍼 전체를 하나의 칩으로 사용한다. 이는 수율(Yield) 문제로 인해 업계에서 기피해 온 접근법이었으나, Cerebras는 독자적인 결함 허용(Defect Tolerance) 기술로 이를 극복했다.
- 초대규모 온칩 메모리: WSE는 엄청난 양의 SRAM을 온칩에 탑재하여, 외부 메모리(DRAM, HBM) 접근 지연 시간을 극적으로 줄인다. 이는 그래프 신경망에서 자주 발생하는 **비규칙적인 메모리 접근 패턴(Irregular Access Pattern)**에 매우 효과적이다.
- 희소성 활용: GPU는 밀집 행렬(Dense Matrix) 연산에 특화되어 있어, 희소성(Sparsity)이 높은 연산에서 성능이 급감한다. Cerebras의 아키텍처는 희소성을 하드웨어 레벨에서 직접 지원하여, 연산 성능 저하 없이 희소 연산을 처리한다.
2. Cerebras CBRS (Cerebras Brain-Scale Reasoning System?)
- 대규모 GNN 추론: CBRS는 Cerebras의 웨이퍼 스케일 칩을 활용하여 수십억 개의 노드와 엣지를 가진 초대규모 그래프에 대한 GNN 추론을 실시간으로 수행하는 시스템이다.
- 그래프 전체가 온칩에: WSE의 거대한 온칩 메모리 덕분에, 전체 그래프 데이터를 칩 내부에 로드할 수 있다. 이는 그래프를 여러 서버에 분할하여 통신 오버헤드를 감수해야 하는 기존 분산 시스템과의 결정적 차이점이다.
- 하드웨어-소프트웨어 공동 설계: Cerebras는 GNN 연산에 최적화된 소프트웨어 스택(컴파일러, 런타임)을 함께 개발하여, 하드웨어의 잠재력을 최대한 끌어낸다.
3. 기존 GPU와의 차별점
| 특징 | GPU (NVIDIA A100/H100) | Cerebras WSE |
|---|---|---|
| 칩 구조 | 여러 개의 작은 칩(Chiplet)을 기판에 연결 | 단일 웨이퍼 전체를 하나의 칩으로 |
| 메모리 계층 | 온칩 SRAM (작음) + 외부 HBM (큼, 느림) | 거대한 온칩 SRAM (외부 메모리 접근 최소화) |
| 희소 연산 | 소프트웨어적으로 처리 (성능 저하) | 하드웨어적으로 직접 지원 (고성능 유지) |
| 워크로드 | 밀집 행렬 연산 (Transformer, CNN)에 최적화 | 희소 연산 (GNN, 추천 시스템)에 최적화 |
| 확장성 | 다중 GPU 클러스터 (통신 병목 존재) | 단일 칩으로 초대규모 모델 처리 가능 |
통찰
1. 메모리 병목의 재정의: ‘메모리 벽’을 무너뜨리는 웨이퍼 스케일
Cerebras의 가장 근본적인 통찰은 **“연산은 빠르지만 메모리는 느리다”**는 폰 노이만 병목(Von Neumann Bottleneck)을 하드웨어 구조 자체로 해결하려 한 점이다. GPU는 외부 메모리(HBM)에 의존할 수밖에 없어, 데이터 이동에 드는 에너지와 시간이 전체 연산의 병목이 된다. Cerebras는 거대한 온칩 SRAM을 통해 데이터를 연산 유닛 가까이에 두어 이 병목을 근본적으로 제거했다. 이는 단순히 칩을 크게 만든 것이 아니라, 메모리 계층 구조(Memory Hierarchy)를 재정의한 혁신이다.
2. 희소성의 경제학: GPU가 아닌 이유
GPU가 딥러닝 혁명을 주도했지만, 그 성능은 밀집 행렬 연산에 최적화된 구조에서 비롯된다. 그래프 신경망이나 추천 시스템과 같이 데이터가 희소(Sparse)한 경우, GPU의 강점은 약점으로 변한다. 희소성을 처리하기 위해 GPU는 제로(0) 값에 대한 불필요한 연산을 수행하거나, 특수한 커널을 사용해야 하며, 이는 활용률(Utilization)을 떨어뜨린다. Cerebras는 이러한 **‘희소성의 경제학’**을 간파하고, 희소 연산을 위한 전용 하드웨어를 구축했다. 이는 마치 범용 CPU보다 그래픽 처리를 위한 GPU가 등장한 것과 같은 **도메인 특화 아키텍처(Domain-Specific Architecture)**의 또 다른 진화다.
3. GNN을 위한 ‘궁극의 컴퓨터’?
Cerebras CBRS는 실질적으로 그래프 전체를 단일 칩의 메모리에 올릴 수 있는 최초의 상용 시스템이다. 이는 GNN 연구자들에게 꿈과 같은 환경을 제공한다. 더 이상 그래프를 분할하고, 통신을 관리하고, 메모리 부족을 걱정할 필요가 없다. 그래프의 모든 연결성을 하드웨어 수준에서 직접 반영할 수 있게 된 것이다. 이는 GNN의 표현력(Expressiveness)과 확장성(Scalability)을 동시에 해결할 수 있는 강력한 도구가 될 수 있다. 하지만, 이에 걸맞는 새로운 GNN 아키텍처와 알고리즘이 함께 연구되어야 한다는 숙제도 남긴다.