Ilya Sutskever가 ‘연구의 시대’를 선언한 것은 단순한 회의론이 아니라, pre-training 스케일링의 물리적·경제적 한계를 인정하고 다음 단계로 나아가기 위한 청사진이다. 스케일링 자체가 멈추는 것이 아니라, 이제는 더 똑똑한 알고리즘과 구조적 혁신이 필요한 시점이라는 뜻이다. 이는 2023년 o1에서 RL이 pre-training 이상의 성능 향상을 이끌었던 역사적 패턴과도 일치한다.
근거
“Pre-training의 스케일링만으로 지금 수준의 모델 성능에 도달하려고 하면 그 스케일이 어마어마해야 했을 겁니다. 그런데 그 돌파구를 찾았던 게 굉장히 연구적인 접근이었던 o1하고 RL이죠.”
또한 Noam Brown의 정리에서 연구자들은 ‘추가적인 연구적 돌파구 없이도 현재 패러다임으로 막대한 경제적 임팩트는 가능하지만, AGI/ASI로 가기 위해서는 continual learning이나 샘플 효율성 같은 돌파구가 필요하다’는 점에 수렴하고 있다. Ilya의 발언은 이 합의를 더 선명하게 만든 것이다.
연결된 생각
- 20260606-continual-learning-and-post-scaling-paradigm — 이 개념 노트는 지속 학습이 포스트 스케일링 시대의 핵심 패러다임임을 설명한다.
- 20260508-llm-wiki-compounds-with-accumulation — 위키 패턴은 지식 누적이 어떻게 스케일링 너머의 성능을 가능하게 하는지 보여준다.
출처
- 📎 클리핑: 20260613-ep98-ko-transcript