팟캐스트의 가장 날카로운 통찰은 self-play의 근본적 한계와 이를 돌파하기 위한 조건에 관한 것이다. 바둑과 달리, 수학 문제나 코딩 같은 open-ended task에서는 단순히 정답률을 낮추는 것만으로 의미 있는 문제가 생성되지 않는다. 핵심은 흥미로운 문제를 만들어내는 능력, 즉 인간의 가치와 정렬된 내적 동기다. 이는 continual learning에서도 동일하게 적용된다. 모델이 단순히 학습 가능한 것만이 아니라, 배워야 할 가치 있는 것을 스스로 발견해야 한다는 것이다.
근거
“중요한 건 정답률을 낮춰서 더 어려운 문제를 만드는 게 중요한 게 아니라, 사람이 봤을 때 흥미로운 문제를 만들어야 하는 거죠. 정말 가치가 높은 문제를 만들어야 하는 거죠.” “최근에 나온 논문들에서 하는 생각은 사람과 정렬되어 있지 않으면 이건 안 된다. 사람과 모델이 정렬되어 있지 않으면 self-play는 안 된다.”
이는 Ilya Sutskever의 “감정이 value function이다”라는 관점과 자연스럽게 연결된다. 동기와 정서가 장기적 목표 추구의 기반이 된다는 주장은 AI에서 지금까지 간과된 영역이다.
연결된 생각
- 20260607-moe-rlvr-paradigm-2025 — 현재 패러다임의 확장이 아닌 질적 도약에 필요한 조건
- self-play-limitations-in-llm — Self-play가 LLM에서 실패하는 이유 (stub)
- iIya-sutskever-emotion-value-function — 감정 동기 정렬 이론 (stub)