현재 AI 개발의 가장 심각한 병목은 데이터다. 99%의 정확도를 99.9%로 올리기 위해 필요한 엣지 케이스 데이터를 사람이 계속 만들어 주기에는 비용이 감당하기 어렵다. 이 병목을 돌파할 유일한 희망은 모델이 스스로 배울 것을 찾아 학습하는 continual learning(지속 학습)이다.
그러나 self-play 기반의 자동 데이터 생성은 바둑처럼 zero-sum game이 아닌 영역에서는 극도로 어렵다. 문제를 만드는 에이전트는 너무 쉬운 문제나 너무 어려운 문제(정답률 0%)를 쉽게 생성할 수 있지만, “사람이 보기에 흥미로운 문제”를 만들어내는 것은 전혀 다른 차원의 문제다.
이 지점에서 중요한 것은 내적 동기(intrinsic motivation)와 인간 정렬(human alignment)이다. 모델이 사람이 가치 있다고 느끼는 방향으로 스스로 학습 대상을 선택하고, 그 동기를 사람의 목표와 정렬시키는 기술이 필요하다. 2026년에 이 문제의 실마리가 보인다면, 그것은 현재의 에이전트와는 질적으로 다른 자율적 에이전트의 시대를 여는 신호탄이 될 것이다.
근거
“모델이 알아서 데이터를 발견해서 학습을 하면 좋겠다는 생각을 하게 되죠. 그게 지속 학습하고도 관련이 됩니다.” “self-play가 우리가 흥미롭게 생각하는 문제에 대해서는 작동시키기가 상당히 어렵다는 걸 보여주는 겁니다. 중요한 건 정답률을 낮춰서 더 어려운 문제를 만드는 게 중요한 게 아니라, 사람이 봤을 때 흥미로운 문제를 만들어야 하는 거죠.” “이 세 가지 문제가 이 문제로 수렴하는 것 같습니다. 내적 동기, 인간과의 정렬.”
연결된 생각
- 20260606-moe-and-rlvr-paradigm-shift-2025 — 현재 패러다임의 연장선에서 필요한 질적 도약
- 20260606-rlvr-enables-agent-learning — RLVR이 continual learning의 기초를 제공
출처
- 📎 클리핑: 20260613-ep98-ko-transcript