Yao Shunyu의 ‘The Second Half’ 선언 이후, RL이 AI 발전의 보편적 해법으로 자리잡았다. 하지만 김성현은 이 해법이 주어졌을 때 오히려 ‘무엇을 풀 것인가’라는 문제가 더 중요해진다고 지적한다. 환경 스케일링, 즉 RL 에이전트가 학습할 수 있는 다양한 과제(환경)를 만들어내는 능력이 새로운 병목이다. 단순 함수 수준에서 전체 서비스 수준으로 과제가 복잡해질수록 환경을 설계하는 비용과 시간이 기하급수적으로 증가한다. 이 병목이 기술적 혁신(예: 지속 학습)으로 해결되면 지수적 발전이 가능하지만, 수작업에 의존하면 정체가 불가피하다. 우리는 지금 단순히 모델 성능이 아닌, ‘문제를 정의하고 환경을 구축하는 능력’이 AI 발전 속도를 결정하는 시대에 살고 있다.
근거
“환경 스케일링을 하면, RL에서의 환경을 얘기하는 건데… 점점 더 복잡한 프로그램을 만들기 위한 환경을 만들어야 될 겁니다. 이전에는 단순한 어떤 함수 하나를 만드는 거였다면 이후에는 하나의 전체적인 프로그램을 만드는 게 될 거고, 앞으로는 서비스 하나를 통째로 만드는 게 될 겁니다.”
연결된 생각
- 20260603-rl-post-training-paradigm — 이 패러다임 안에서 환경 스케일링이 차지하는 위치