정의

RL(강화학습)이 AI 발전의 핵심 방법론으로 자리잡은 이후, 실제 문제에 RL을 적용할 수 있는 ‘환경(environment)‘을 확장하고 다양화하는 문제가 가장 중요한 병목으로 부상했다. 이 환경 스케일링이 어떻게 풀리느냐에 따라 AI 발전의 궤적이 지수적, 점진적, 혹은 정체로 갈린다.

핵심 속성

  • 병목의 본질: RL 방법론 자체는 Yao Shunyu의 ‘The Second Half’가 지적하듯 이미 답을 찾았으나, 그 방법을 적용할 다양한 과제(환경)를 만들어내는 비용과 복잡성이 지속적으로 증가한다.
  • 세 가지 시나리오:
    • 녹색(지수적): 지속 학습 문제가 해결되어 모델이 스스로 환경을 생성하고 부트스트래핑하며 발전.
    • 파란색(점근적/정체): 기술 혁신 없이 수작업으로 환경을 만드는 비용이 복잡성에 비례해 증가, 발전 정체.
    • 직선(점진적): 작은 기술 혁신들이 복잡성을 낮추어 주기적으로 가속, 장기적으로 선형에 가까운 발전.
  • 현재의 방향: GLM 5를 비롯한 프런티어 연구는 RL의 효율성, 안정성, 다양성 향상에 집중하며, 환경 스케일링이 중심 과제임을 보여준다.

관계

인용

“The Second Half에서 제시하는 것처럼 RL이 정답이다, 이 모든 문제에 대한 해답이다라고 가정했을 때, 해답이 주어졌을 때에도 주어지는 문제는 있거든요. 그 주어지는 문제가 환경 스케일링의 문제인 거죠.”

출처

클리핑 · youtube.com