인터뷰에서 Ilya Sutskever와 김성현이 반복해서 강조한 점은, 현재의 AI 모델이 벤치마크에서는 뛰어나지만 실제 환경에서 새로운 과제를 빠르게 학습하고 적응하는 능력이 부족하다는 것이다. 사람은 ‘뜨거운 것에 한 번만 데어도’ 일반화하지만, 모델은 수많은 데이터와 RL rollout이 필요하다. 이 차이가 바로 AGI로 가는 핵심 장벽이다. Sutskever가 말한 ‘모든 것을 할 수 있는 씨앗’은 처음부터 완벽한 에이전트가 아니라, 환경에 들어가서 새로운 스킬을 지속적으로 학습하고 발전시키는 존재를 의미한다. 이러한 능력이 없다면, 정말 가치 있는 에이전트는 탄생하기 어렵다.
근거
“모델이 deploy됐을 때 실제 현장 상황에 들어가서 새로 필요로 하는 스킬을 개발하고 학습해 나가면서 문제를 잘 풀게 되는 것” (김성현)
“인간은 1만 시간 공부한 학생과 100시간 공부한 감각의 차이 — 일반화 능력이 현저히 떨어진다” (Sutskever)
“Continual learning이라는 개념이 들어오면서 그 continual learning을 통해서 이루고 싶어 하는 것들이 바로 그런 형태의 그림이다.”
연결된 생각
- 20260607-pre-training-scaling-limit-research-era — 지속 학습이 스케일링 패러다임의 한계를 극복할 새로운 연구 방향임.
- 20260607-emotion-as-value-function — 감정의 가치 함수가 샘플 효율성과 일반화를 높이는 방법일 수 있음.