돈백이의 글에서 가장 놀라운 통찰은 알고리즘이 병목이 아니라는 점이다. 많은 사람들이 AI 발전의 제약을 모델 구조나 학습 기법의 한계로 생각하지만, 실제로는 컴퓨팅 파워와 전력만 확보되면 현재의 한계 대부분이 해결될 것이라고 한다. 이는 AI 산업의 투자 방향이 하드웨어와 에너지로 쏠리는 이유를 설명한다.

근거

원문에서 “신기한 건 병목이 알고리즘이 아니라는 점. 하드웨어랑 에너지만 풀리면 지금 보이는 한계들은 대부분 해결된다고 함.”이라는 직접적인 언급이 있다. 또한 아마존·마이크로소프트가 원전을 검토하고 OpenAI가 핵융합에 투자하는 사례를 들며 이를 뒷받침한다.

이 주장은 딥러닝 커뮤니티에서 흔히 논의되는 스케일링 법칙(Scaling Laws)과 일치한다. 더 큰 모델과 더 많은 데이터, 더 많은 계산량이 성능을 지속적으로 향상시킨다는 경험적 증거가 있으며, 이는 알고리즘 혁신 없이도 하드웨어와 에너지 투자만으로 성능 향상이 가능함을 시사한다.

연결된 생각

출처

클리핑 · x.com