정의
Pre-training 스케일링은 지속적인 성능 향상을 가져오지만, AGI/ASI에 도달하기 위해서는 연구적 돌파구가 필수적이라는 관점. Ilya Sutskever가 ‘스케일링의 시대는 가고 연구의 시대가 다시 도래했다’고 선언한 이후, 이 주장은 경제·안보 차원으로 논쟁이 확장되었으며, Noam Brown의 정리를 통해 학계의 합의점이 정리되었다.
핵심 속성
- 현재 주류 패러다임: Pre-training 스케일링 + Post-training(RL) → 모델 크기와 데이터만으로 성능 향상.
- 연구적 돌파구 사례: o1/RL을 통한 추론 능력 향상은 pre-training 스케일링만으로는 불가능했던 성능 도약을 이끌어냄.
- 남은 핵심 문제:
- 일반화 부재: 벤치마크는 탁월하지만 실제 사용에서 어처구니없는 실수(벤치맥싱).
- 샘플 효율성 부족: 인간 대비 수만 배의 데이터/rollout 필요.
- Continual learning의 어려움: 환경 변화에 적응하며 지속 학습할 메커니즘 부재.
- 연구자 합의점 (Noam Brown 정리): 현재 기술만으로도 막대한 경제·사회적 임팩트 가능하나, AGI/ASI로 가려면 추가 돌파구 필요. 모든 선구자가 20년 내 도달을 예측.
관계
- 20260606-emotion-as-value-function-for-decision-making — 감정=가치 함수 비유: 제한된 합리성·휴리스틱이 스케일링의 한계를 보완하는 메커니즘.
- 20260606-continual-learning — 하위개념: 지속 학습이 스케일링 붕괴를 극복할 핵심 방안.
- reinforcement-learning — 연장: o1/RL이 post-training의 새 패러다임을 열었으며, 더 정교한 RL 환경 설계가 필요.
인용
“pre-training은 벽에 도달했다. 무언가 새로운 생각이 필요하다. 이제 스케일링의 시대는 가고 연구의 시대가 다시 도래했다.” — Ilya Sutskever “지금의 방법을 더 키워나가면 계속 성능 향상이 있을 것이지만, 갭이 있다. 멈추지는 않지만 중요한 무언가가 빠져 있을 것이다.” — Ilya Sutskever (트위터 해명)
출처
- 📎 클리핑: 20260613-ep98-ko-transcript