팟캐스트 ep90에서 이진원 CTO와 최승준, 노정석이 AI 10년을 회고하며 드러난 가장 일관된 패턴은 ‘Bitter Lesson’의 반복이다. ImageNet에서 VGG가 아닌 ResNet이 승리한 이유, CNN이 아닌 Transformer가 자연어와 비전 모두를 지배하게 된 이유, BERT의 양방향 어텐션이 결국 GPT의 단방향 디코더 확장성에 밀린 이유 — 모두 ‘더 일반적인 구조가 더 많은 데이터와 연산으로 더 좋은 결과를 냈다’는 리처드 서튼의 통찰로 설명된다. 이는 단순한 기술사적 관찰을 넘어, 앞으로의 투자와 연구 방향에 대한 강력한 신호다.
근거
이진원이 Vision Transformer(ViT)의 성공 비결을 설명하며 스케일의 중요성을 직접적으로 언급한다.
“결국에는 비전 트랜스포머가 성공을 어떻게 시켰냐라고 하면 데이터를 많이 넣은 거였어요. 다른 답이 없고… Google이 hundred million의 데이터… 그 정도 데이터를 넣으니까 성능이 올라가는 그래프를 보여줬어요.”
또한 Transformer가 CNN과 RNN을 압도한 이유에 대해:
“결국 CNN이라고 하는 convolution이라고 하는 거는 bias가 들어간 거죠… 결국 scale 측면에서 여기도 Bitter Lesson이 들어가는 거죠. 결국에 scale이 커졌을 때는 더 general한 모델인 Transformer가 성능이 훨씬 좋아진다.”
Noam Brown이 AlphaGo 10주년에 맞춰 언급한 ‘오늘날 최전선 추론 모델들(MCTS→CoT, 모방학습→강화학습)’ 역시 동일한 패턴 위에 서 있다.
연결된 생각
- 20260607-verification-based-infinite-loop — 무한 루프는 ‘스케일의 법칙’을 시간 축으로 확장한 것
- 20260607-bitter-lesson-scaling — 리처드 서튼의 원 논의와 이 맥락의 연결
- 20260607-alpha-go-37-move-symbol — 37수가 상징하는 ‘인간의 직관을 넘어선 스케일의 승리’
출처
- 📎 클리핑: 20260613-ep98-ko-transcript