2025년이 RLVR의 이해와 안정화에 집중된 해였다면, 2026년의 핵심 도전 과제는 ‘모델이 스스로 무엇을 배울지 결정하는 능력’으로 이동할 것이다. 현재의 데이터 병목 — 99%에서 99.9%로 가기 위해 롱테일 데이터를 수동으로 수집해야 하는 문제 — 을 해결하려면 모델이 스스로 학습 대상을 발견하고 데이터를 생성하는 ‘지속 학습(continual learning)‘이 필수적이다. 그러나 단순히 학습 가능성(어떻게 배울까)을 확보하는 것보다 훨씬 어려운 문제는 ‘무엇을 배울지(what to learn)‘를 에이전트 스스로 판단하게 하는 것이다.
이 문제는 self-play의 어려움과도 연결된다. 바둑과 달리 수학이나 코딩은 zero-sum game이 아니기 때문에, 흥미로운 문제를 생성하는 기준을 사람의 가치와 정렬시켜야 한다. 즉, ‘내적 동기’와 ‘인간 정렬’이라는 두 난제가 하나로 수렴하는 지점이다. 2026년에 이 문제의 실마리가 보인다면, 그것은 단순한 성능 향상이 아니라 AI의 질적 도약을 의미할 것이다.
근거
“학습을 할 수 있다는 것 자체가 중요한 게 아니라, 학습을 할 수 있는 능력이 있을 때 그걸 사용해서 실제 상황에서 어떤 중요한 것들을 학습하는 능력이 필요한 거죠… 이것들이 발견하는 게 지속 학습의 가장 중요한 컴포넌트라고 생각합니다.”
“self-play가 우리가 흥미롭게 생각하는 문제에 대해서는 작동시키기가 상당히 어렵다는 걸 보여줍니다. 중요한 건 정답률을 낮춰서 더 어려운 문제를 만드는 게 중요한 게 아니라, 사람이 봤을 때 흥미로운 문제를 만들어야 하는 거죠.”
연결된 생각
- 20260606-rlvr-trains-composition-not-skill — atomic skill 조합 능력의 다음 단계로, 무엇을 배울지 선택하는 메타인지 능력이 필요함
- 20260607-intrinsic-motivation-paradigm — 내적 동기와 인간 가치 정렬은 self-play와 continual learning의 공통 난제로, 2026년 패러다임 전환의 핵심 축