Ilya Sutskever가 Dwarkesh Patel 팟캐스트에서 pre-training 스케일링의 한계를 지적하고 “연구의 시대”를 선언한 것은 단순한 기술적 논쟁을 넘어 AI 분야의 전환점을 의미한다. 스케일링 법칙은 계속해서 성능 향상을 가져오지만, AGI/ASI로 가는 길에는 continual learning, 샘플 효율성, 일반화 등의 근본적인 문제가 남아 있으며, 이는 새로운 연구 패러다임을 통해서만 해결 가능하다. 이 주장의 중요성은 기술적 차원을 넘어 경제적, 국가 안보적 차원으로 확장된다. 스케일링에 대한 투자가 막대해지면서 정부 차원의 개입이 필요해졌고, 이는 AI 발전의 방향성에 정치적 요소를 더한다. Noam Brown의 정리처럼 연구자들 간의 합의점은 스케일링이 멈추지 않는다는 점이지만, 추가적인 돌파구 없이는 진정한 지능에 도달할 수 없다는 데 동의하고 있다.
근거
“지금의 방법을 더 키워나가면, 계속, 그러니까 스케일링하면 계속 성능 향상이 있을 것이지, 없다고 얘기하는 게 아니라 약간 갭이 있다는 정도로 얘기했다. … 여전히 어떤 중요한 무언가는 계속해서 빠져 있을 것이다.”
“pre-training의 스케일링만으로 지금 나와 있는 모델의 성능 향상이 일어난 건 아니거든요. 분명하게 pre-training의 스케일링만으로 지금 수준의 모델 성능에 도달하려고 하면 그 스케일이 어마어마해야 했을 겁니다. 그런데 그 돌파구를 찾았던 게 굉장히 연구적인 접근이었던 o1하고 RL이죠.”
연결된 생각
- 20260607-scaling-to-research-paradigm — 개념적 배경으로 이 주장의 기반이 되는 패러다임
- 20260607-emotion-as-value-function-ai — 연구 패러다임의 한 축인 내적 동기 문제
출처
- 📎 클리핑: 20260613-ep98-ko-transcript