2017년 Transformer 논문부터 2020년 Vision Transformer(ViT)에 이르기까지, 인공지능 역사는 “더 일반적인 구조 + 더 많은 데이터”가 승리하는 패턴을 반복해왔다. CNN은 강력한 inductive bias를 가졌지만, Transformer는 거의 모든 bias를 제거했다. ViT가 성공한 결정적 이유는 Google이 가진 수억 장의 이미지 데이터(JFT)를 학습한 덕분이었다. “데이터를 많이 넣은 거였어요. 다른 답이 없고”라는 이진원의 회고가 이를 증명한다.
이 패턴은 Richard Sutton의 “Bitter Lesson”과 정확히 일치한다. 현재 Autoresearch와 Ralph loop도 마찬가지다. 검증 가능한 신호만 제공하면, 반복 횟수(스케일)가 성능을 결정한다. 우리는 “어떻게 모델을 설계할까”보다 “무엇을 검증할 것인가”에 집중해야 한다. 스케일링이 창발을 만드는 시대에서, 가장 중요한 설계는 평가 지표의 설계가 되고 있다.
근거
이진원: “Vision Transformer가 성공을 어떻게 시켰냐라고 하면 데이터를 많이 넣은 거였어요. 다른 답이 없고. … JFT라는 … 그 정도 데이터를 넣으니까 성능이 올라가는 그래프를 보여줬어요.”
연결된 생각
- 20260607-verifiable-signal-loop — 스케일링을 가능하게 하는 검증 가능 신호
- 20260607-alphago-37-and-autoresearch — Autoresearch도 스케일링(반복 횟수)에 의존