2025년 AI는 MoE와 RLVR 패러다임을 정착시키며 점진적 개선을 이루었지만, 더 높은 성능(99% → 99.9%)으로 도약하기 위해 데이터의 양과 질이 가장 큰 병목으로 떠오르고 있다. 김성현은 이 문제를 자율주행의 엣지 케이스 수집과 유사하다고 비유하며, 수많은 코너 케이스와 롱테일 데이터를 끊임없이 정제해야 하는 상황을 지적했다. 단순히 모델 크기를 키우거나 학습 방법을 바꾸는 것만으로는 해결되지 않으며, 모델 스스로 데이터를 생성하거나 발견할 수 있는 패러다임(continual learning, self‑play)이 절실히 필요한 이유이기도 하다.
근거
“지금 프런티어 기업들이 어마어마한 자원 같은 것들을 좋은 데이터를 만드는 데 쓰고 있는데 이게 언제까지 이걸 해야 되는 건가 이거 자체가 너무 어렵다는 생각이 들 수밖에 없습니다. … 자율주행과 비슷한 문제라고 비유를 하는데, 그게 제일 흥미로운 비유인 것 같습니다. 어느 정도까지 되게 만드는가. 나는 90% 정도의 자율주행을 쉽게 할 수 있는데 이제 99%, 99.9%를 만들려고 하면 수많은 엣지 케이스들, 코너 케이스들 그리고 롱테일에 존재하는 데이터들을 수집해야 하는 거죠.”
연결된 생각
- 20260606-rlvr-agent-post-training — RLVR도 결국 고품질 보상 데이터가 필요하지만, 모델 스스로 데이터를 생성하거나 발견하는 continual learning으로 해결 가능할 수도 있음.
출처
- 📎 클리핑: 20260613-ep98-ko-transcript