정의
RL(강화학습)이 AI 발전의 핵심 방법론으로 자리잡은 이후, 실제 문제에 RL을 적용할 수 있는 ‘환경(environment)‘을 확장하고 다양화하는 문제가 가장 중요한 병목으로 부상했다. 이 환경 스케일링이 어떻게 풀리느냐에 따라 AI 발전의 궤적이 지수적, 점진적, 혹은 정체로 갈린다.
핵심 속성
- 병목의 본질: RL 방법론 자체는 Yao Shunyu의 ‘The Second Half’가 지적하듯 이미 답을 찾았으나, 그 방법을 적용할 다양한 과제(환경)를 만들어내는 비용과 복잡성이 지속적으로 증가한다.
- 세 가지 시나리오:
- 녹색(지수적): 지속 학습 문제가 해결되어 모델이 스스로 환경을 생성하고 부트스트래핑하며 발전.
- 파란색(점근적/정체): 기술 혁신 없이 수작업으로 환경을 만드는 비용이 복잡성에 비례해 증가, 발전 정체.
- 직선(점진적): 작은 기술 혁신들이 복잡성을 낮추어 주기적으로 가속, 장기적으로 선형에 가까운 발전.
- 현재의 방향: GLM 5를 비롯한 프런티어 연구는 RL의 효율성, 안정성, 다양성 향상에 집중하며, 환경 스케일링이 중심 과제임을 보여준다.
관계
- 20260607-rl-answer-but-scaling-bottleneck — 하위개념: RL이 답이지만 환경 확장이 병목임을 구체화
- 20260607-basics-era — 연장: 기본기(데이터·인프라·반복)가 환경 스케일링의 성패를 결정
- Yao Shunyu (entity) — 상위개념: ‘The Second Half’ 개념의 기반
인용
“The Second Half에서 제시하는 것처럼 RL이 정답이다, 이 모든 문제에 대한 해답이다라고 가정했을 때, 해답이 주어졌을 때에도 주어지는 문제는 있거든요. 그 주어지는 문제가 환경 스케일링의 문제인 거죠.”