Ilya Sutskever가 “pre-training 스케일링이 벽에 도달했다”고 발언하자 커뮤니티가 술렁였다. 이후 그는 스케일링이 계속 성능 향상을 가져올 것이지만, AGI로 가기 위해서는 새로운 연구가 필요하다고 해명했다. Noam Brown은 연구자들의 의견이 수렴된다고 정리했다: 현재 패러다임만으로도 큰 경제적 임팩트를 낼 수 있지만, 진정한 AGI를 위해서는 continual learning 같은 추가적인 돌파구가 필요하다. 중요한 것은 이 둘이 상충된다고 보는 시각 자체가 오해라는 점이다. 스케일링과 연구는 상호보완적이며, o1과 RL이 pre-training 이상의 성능 향상을 이끌어낸 사례가 이를 증명한다.
근거
“pre-training의 스케일링만으로 지금 수준의 모델 성능에 도달하려고 하면 그 스케일이 어마어마해야 했을 겁니다. 그런데 그 돌파구를 찾았던 게 굉장히 연구적인 접근이었던 o1하고 RL이죠.” (김성현)
“지금의 패러다임만으로도 추가적인 연구적 돌파구가 없어도 막대한 경제·사회적 임팩트를 내기는 충분할 가능성이 크다. 그런데 정말 AGI, ASI로 가려면 지속 학습이나 샘플 효율 등 추가적인 돌파구가 더 필요할 확률이 높다.” (Noam Brown 정리)
연결된 생각
- 20260607-continual-learning-and-agi-path — 이 주장의 개념적 기반이 되는 지속 학습 패러다임
- 20260607-bench-maxxing-causes-spiky-abilities — 현재 스케일링의 한계를 드러내는 벤치마크 최적화 문제
출처
- 📎 클리핑: 20260613-ep98-ko-transcript 클리핑 · youtube.com