2025년의 교훈 중 하나는 모델 성능 향상의 병목이 데이터에 있다는 점이다. 특히 99%에서 99.9%로 가기 위해 필요한 엣지 케이스 데이터는 인간이 일일이 만들기 어렵고 비용이 기하급수적으로 증가한다. 팟캐스트는 이 문제를 해결하기 위해 continual learning, self-play, 그리고 모델의 내적 동기(intrinsic motivation)와 인간 정렬이 필요하다고 전망한다. 단순히 더 많은 데이터를 주입하는 것이 아니라, 모델 스스로 무엇을 배울지 발견하고 흥미로운 문제를 생성하는 능력이 2026년의 핵심 패러다임 전환이 될 것이라는 주장이다.
이 주장은 Ilya Sutskever의 ‘감정은 value function’이라는 아이디어와 연결되며, AI가 단순한 도구를 넘어 스스로 목표를 설정하는 존재로 진화하는 단계의 시작을 의미한다. 개인적으로 이 전망이 현실화된다면, 기존의 지도 학습 기반 패러다임은 완전히 무너지고 AI의 자율성과 창의성에 대한 논의가 본격화될 것이다. 하지만 동시에 self-play의 어려움(정답률 0% 문제를 쉽게 만드는 문제)과 인간 정렬의 난점도 분명하다. 2026년에 이 패러다임의 면모가 조금이라도 보인다면, 지금의 AI 투자 규모를 정당화할 수 있는 질적 도약이 일어날 것이다.
근거
“중국 팟캐스트… 지금 실리콘밸리에서는 전부 지속 학습 얘기를 하고 있고… 지속 학습이 저는 굉장히 중요한 패러다임의 변화일 거라고 생각하고… 모델이 알아서 데이터를 발견해서 학습을 하면 좋겠다… 모델이 무엇을 배울 건가, 그걸 왜 배울 건가, 이것들을 발견하는 게 지속 학습의 가장 중요한 컴포넌트”
연결된 생각
- 20260603-ai-paradigm-shift-moe-rlvr — 데이터 병목과 RLVR의 관계 (wiki 개념 노트)
- 20260603-rlvr-atomic-skill-combination — atomic skill 조합 능력이 데이터 병목을 완화할 가능성 (garden 노트)