Yao Shunyu의 The Second Half를 받아들이면 — RL을 할 수 있는 환경만 있으면 어떤 문제든 풀린다고 가정하면 — 논리적 귀결은 명확하다. 환경을 만드는 것이 유일한 기술의 병목이 된다. 방법(RL)은 이미 답지로 공개됐으므로, 남은 변수는 그 RL을 돌릴 환경을 얼마나 다양하고 복잡하게 확장하느냐다.
근거
RL에서 환경이란 에이전트가 액션을 취하고, 환경 변화를 관찰하고, 최종 보상을 얻는 무대다. 소프트웨어 엔지니어링 과제(버그 수정)가 하나의 환경이다.
이전에는 단순한 어떤 함수 하나를 만드는 거였다면 이후에는 하나의 전체적인 프로그램을 만드는 게 될 거고, 앞으로는 서비스 하나를 통째로 만드는 게 될 겁니다.
문제는 에이전트가 다룰 작업의 수준이 높아질수록 그 환경의 복잡성도 함께 높아진다는 것이다. 함수 하나 → 프로그램 전체 → 서비스 전체로 갈수록, 검증 가능한 보상을 갖춘 환경을 구축하는 비용이 폭증한다. 이것이 물리 AI의 action 데이터 병목과 같은 자리에 있는, 다음 시대의 핵심 제약이다.
연결된 생각
- 20260603-rlvr-agent-posttraining — RLVR의 환경 의존성
- 20260603-action-data-does-not-exist-on-the-internet — 물리 도메인의 동형 병목