Ilya Sutskever의 “연구의 시대” 선언은 많은 이들에게 스케일링이 끝났다는 인상을 주었지만, 실제로는 오해가 섞여 있다. Noam Brown의 정리에 따르면, 연구자들의 합의는 생각보다 크며, 스케일링 자체는 계속 성능 향상을 가져올 것이라는 점에 동의한다. 문제는 AGI/ASI로 가기 위해 추가적인 돌파구가 필요하다는 것이다. o1과 RL이 이미 pre-training 스케일링 이상의 성능 향상을 보여주었듯, 연구와 스케일링은 상호 보완적이다. 중요한 것은 둘 중 하나를 선택하는 것이 아니라, 둘 다 추구해야 한다는 점이다.
근거
“지금의 패러다임만으로도 추가적인 연구적 돌파구가 없어도 막대한 경제·사회적 임팩트를 내기는 충분할 가능성이 크다. 그런데 정말 AGI, ASI로 가려면 지속 학습이나 샘플 효율 등 추가적인 돌파구가 더 필요할 확률이 높다. 그런데 우리는 그런 돌파구를 찾아낼 것이고 20년 안에는 거기에 도달할 것이다.” — Noam Brown의 정리
연결된 생각
- 20260607-post-scaling-research-paradigm — 스케일링 이후 연구 패러다임 전환 (wiki 개념)
- 20260607-emotion-as-value-function — 감정의 가치 함수 (garden)
- 20260607-taste-in-research — 연구 취향 (garden)