슈퍼컴퓨터 콘퍼런스에서 더 이상 GPU 개수를 얘기하지 않는다. 다들 와트를 얘기한다. 투입되는 총 컴퓨트의 양이 곧 지능인데, 그 컴퓨트 양을 가장 잘 담는 선행 지표가 전력량이기 때문이다. 무게로 달아서 얘기하는 게 편하듯, 와트로 지능을 단다.

근거

병목이 전력(watt)으로 이동하면, 의사결정을 주도하는 지표는 ‘와트당 토큰’이 된다. 토큰은 문자 그대로 수익이기 때문이다. Gavin Baker의 분석처럼 사전 학습의 scaling law가 유효한 한, 중요한 것은 일관된 FLOP이고 Blackwell이든 TPU든 상관없다. 결국 광학 케이블·냉각·전력 인프라가 병목이 되고, 이는 AI가 여전히 매우 초기 단계임을 시사한다.

“그냥 투입되는 총 컴퓨팅의 양이 결국 지능을 나타내는데 그 투입되는 총 컴퓨팅의 양에 가장 많은 정보를 담고 있는 일종의 precursor, 선행 지표가 전력량인 거죠. 와트.”

연결된 생각

출처

클리핑 · youtu.be