정의
2025년 11월 Ilya Sutskever는 pre-training 스케일링이 한계에 도달했으며, 더 큰 성능 향상을 위해서는 새로운 연구적 돌파구가 필요하다고 선언했다. 이는 “스케일링의 시대는 가고 연구의 시대가 다시 도래했다”는 발언으로 요약되며, AI 업계에 큰 논쟁을 불러일으켰다.
핵심 속성
- Pre-training 스케일링 한계: 현재 방식의 스케일링만으로는 AGI 달성에 충분하지 않으며, 성능 향상 곡선이 flatten될 가능성이 있음. 단, 스케일링 자체가 멈추는 것은 아니며 계속 성능 향상은 있을 것.
- 연구의 시대: 추론(reasoning), 지속 학습(continual learning), 샘플 효율성, 일반화 등 새로운 패러다임 필요. 이러한 연구는 스케일링과 상충되지 않고 상호 보완적.
- 감정의 가치 함수: Ilya는 감정을 강화학습(RL)의 가치 함수에 비유. 제한된 합리성(bounded rationality) 속에서 의사결정을 가능하게 하는 메커니즘으로 설명.
- Continual learning 필요성: 배포 환경에서 모델이 지속적으로 학습하고 적응하는 능력이 AGI의 핵심 요소. 현재 LLM은 이 능력이 부족하여 외재화(externalization)로 우회하는 추세.
- 일반화의 어려움: 현재 모델은 benchmark에서 높은 성능을 보이지만, 실제 사용에서는 어처구니없는 실수를 함. 이는 RL을 통한 학습이 평가 환경에만 최적화되었기 때문.
관계
- 20260607-scaling-and-research-complementary — 연구와 스케일링의 상호 보완 관계 (연장)
- 20260607-emotion-as-value-function — 감정의 가치 함수 개념 (연장)
- 20260607-taste-in-research — 연구 취향의 중요성 (연장)
인용
“지금의 방법을 더 키워나가면 스케일링하면 계속 성능 향상이 있을 것이지, 없다고 얘기하는 게 아니라 약간 갭이 있다는 정도로 얘기했다. … 여전히 어떤 중요한 무언가는 계속해서 빠져 있을 것이다.” — Noam Brown이 요약한 Ilya Sutskever의 발언