칩 하나가 조용히 틀린 계산을 내놓을 확률은 무시해도 좋을 만큼 낮다. 그런데 수만 개를 하나로 묶어 몇 주간 돌리는 순간, 그 확률은 더 이상 예외가 아니라 매일 마주치는 상수가 된다. 규모의 본질적 어려움은 “더 큰 것을 다루는 일”이 아니라, 원래 무시하도록 설계된 가정이 무너지는 일이다.
근거
제프 딘이 공개한 사례에서 진짜 무서운 대목은 결함의 존재가 아니라 그 성질이다. 고장 신호가 없고, 랙 온도에 따라 증상이 생겼다 사라진다. 즉 기존 장애 대응 체계가 전제하던 두 가지 — 오류는 신호를 남긴다, 오류는 재현된다 — 가 모두 깨진다.
일부 칩은 고장 신호도 없이 틀린 계산을 내놓음. 심지어 그 순간 랙 온도에 따라 증상이 생겼다 사라짐.
여기에 딥러닝 특유의 증폭 구조가 얹힌다. 지수부 비트 하나가 뒤집히면 0.2가 10의 20제곱이 되고, 역전파는 그 값을 전 파라미터로 퍼뜨린다. 대부분의 시스템에서 한 번의 오류는 한 번의 손실이지만, 학습 루프에서 한 번의 오류는 누적된 자산 전체의 손실이다.
같은 구조는 소프트웨어에도 있다. 요청 백만 건 중 하나에서만 터지는 레이스 컨디션, 100만 토큰 컨텍스트에서만 드러나는 에이전트의 지시 무시. 규모를 키우기로 결정하는 순간, 우리는 “확률이 낮으니 괜찮다”는 판단 근거 자체를 버려야 한다.
연결된 생각
- 20260810-silent-data-corruption-in-large-scale-training — 이 현상의 구조적 정의와 대응 절차
- 20260606-sparse-attention-lessons-from-instability — 알고리즘 층위에서 나타나는 같은 성격의 숨은 비용
- 20260810-replay-is-the-diagnostic-not-the-log — 재현되지 않는 결함을 다루는 방법