2025년 MoE와 RLVR 패러다임이 정착된 후, 연구자들이 직면한 가장 큰 장벽은 단연 데이터다. 팟캐스트에서 제기된 자율주행 비유가 이를 명확히 한다. 90% 정확도는 비교적 쉽지만, 99.9%로 가기 위해서는 끝없는 엣지 케이스와 롱테일 데이터가 필요하다. AI 에이전트가 복잡한 작업을 수행할수록 데이터 요구사항은 기하급수적으로 늘어난다. 더욱이 데이터를 만드는 데도 모델이 필요해지는 역설적 상황이 반복된다.
근거
“이 팟캐스트에서는 자율주행과 비슷한 문제라고 비유를 하는데… 나는 90% 정도의 자율주행을 쉽게 할 수 있는데 이제 99%, 99.9%를 만들려고 하면 수많은 엣지 케이스들, 코너 케이스들 그리고 롱테일에 존재하는 데이터들을 수집해야 하는 거죠. 끊임없이 데이터를 수집해서 조금씩 조금씩 올려 나가야 합니다. 그것 자체가 엄청나게 큰 병목이죠.”
또한 “데이터가 전부다”라는 NeurIPS 키노트와 “모델은 제품이고 데이터는 모델이다”라는 업계 격언이 이 깨달음을 뒷받침한다.
연결된 생각
- 20260607-moe-rlvr-paradigm-2025 — RLVR의 확장이 데이터 병목에 의해 제한됨
- self-play-and-intrinsic-motivation — self-play가 데이터 병목 해소의 대안으로 제시되지만, 흥미로운 문제 생성이 관건
- data-centric-ai — 데이터 중심 AI 접근법의 중요성