정의
Pre-training 스케일링 법칙이 단순한 컴퓨팅 확장만으로는 성능 향상의 한계에 도달했으며, 모델의 진정한 지능 향상을 위해서는 RL 기반 post-training, 추론, continual learning 등 새로운 연구 패러다임이 필수적이라는 주장. Ilya Sutskever의 ‘연구의 시대’ 선언을 계기로 학계와 산업계 모두에서 활발히 논의되는 개념.
핵심 속성
- 스케일링 붕괴 지점: 단순한 pre-training 확장만으로는 더 이상 유의미한 성능 향상을 얻기 어려움. o1과 RL을 통한 post-training이 pre-training 스케일링 이상의 성능 향상을 가져온 사례가 증거.
- 놀라운 능력과 어처구니없는 실수의 공존: RL 스케일링은 특정 benchmark에서는 탁월하지만, 실제 사용 환경에서는 예상치 못한 버그와 빈약한 일반화 능력을 보임. 이는 RL 환경과 실제 사용 환경의 불일치에서 기인.
- 경제·안보 문제로의 확장: 스케일링 논쟁이 단순한 학문적 주제를 넘어 데이터센터 투자, 전력 인프라, 국가 경쟁력, 안보 이슈로 확장됨. GPU vs TPU 논쟁이 주식 시장에 직접적인 영향을 미친 사례.
- 연구자 간 합의점: Noam Brown의 정리에 따르면, 회의론자와 광신도 모두 “현재 패러다임만으로도 막대한 경제·사회적 임팩트는 가능하지만, AGI/ASI로 가려면 추가적인 돌파구가 필요하다”는 점에 수렴.
관계
- 20260605-true-agi-is-system-not-model — 하위개념: 진정한 지능은 모델이 아니라 시스템(RL 프레임워크)에 있다는 관점
- 20260605-emotion-as-value-function — 연장: 감정이 불확실성 속 의사결정을 가능하게 하는 가치 함수 역할을 한다는 주장과 연결
- 20260605-good-research-taste-data-efficiency — 연장: 좋은 연구 취향이 데이터 효율적인 일반화를 위한 안목이라는 주장과 연결
인용
“pre-training의 스케일링은 벽에 도달했다. 무언가 새로운 생각이 필요하다. 이제 스케일링의 시대는 가고 연구의 시대가 다시 도래했다.” “지금의 방법을 더 키워나가면 계속 성능 향상이 있을 것이지, 없다고 얘기하는 게 아니라 약간 갭이 있다는 정도다. 중간에 멈춰버리지는 않을 것이다. 다만 여전히 어떤 중요한 무언가는 계속해서 빠져 있을 것이다.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript