우리가 쓰는 AI를 학습시키는 칩들은 가끔 조용히 거짓말을 함. 구글 수석과학자 Jeff Dean이 프린스턴 강의에서 풀어놓은, 잘 알려지지 않은 이야기임
수만 개 칩을 하나로 묶어 모델을 학습시키는데, 일부 칩은 고장 신호도 없이 틀린 계산을 내놓음. 심지어 그 순간 랙 온도에 따라 증상이 생겼다 사라짐. 비트 하나가 뒤집히면 0.2여야 할 그래디언트가 10의 20제곱으로 퍼져서 학습 전체가 오염됨
구글의 해법이 재밌음. 층마다 그래디언트를 감시하다가 튀는 값이 보이면 그 스텝을 자동으로 다시 돌림. 같은 답이 나오면 데이터 탓, 다른 답이 나오면 칩이 범인임. 범인 칩은 빼버리고 예비 칩을 끼워서 학습은 그대로 계속 감
챗봇이 내놓는 답 하나하나가 사실 이런 물리 세계의 불완전함과 싸워 이긴 결과물임. 모델 경쟁의 절반은 화려한 알고리즘이 아니라 이런 지루한 신뢰성 엔지니어링이고, 구글의 진짜 해자가 여기 있다고 봄