정의
환경 스케일링은 RL(강화학습)에서 에이전트가 활동할 수 있는 환경(task)의 다양성과 복잡성을 점진적으로 확장하는 과정을 의미한다. 특히 LLM 에이전트의 경우, 단순한 함수 작성에서 전체 서비스 구축으로 이어지는 환경의 복잡성 증가가 모델 발전의 핵심 병목으로 작용한다.
핵심 속성
- 병목 위치: 모델의 능력 자체보다 “환경을 만드는 것”이 기술 발전의 유일한 병목이다. RL이 답지라면, 문제를 정의하는 환경이 남은 제약이다.
- 복잡성 비례: 더 복잡한 과제(예: 서비스 전체 구축)를 위한 환경을 만들수록 비용과 시간이 비선형적으로 증가한다.
- 세 가지 성장 궤적:
- 지수적(녹색): 지속 학습 문제가 해결되어 모델이 스스로 환경을 발견·생성함
- 점근적(파랑): 기술 혁신 없이 수작업 환경 생성이 지속되어 발전 정체
- 선형적(회색): 작은 기술 혁신이 복잡성을 낮춰 점진적 발전을 지속
관계
- 20260607-rl-is-the-answer-key — 환경 스케일링은 RL 답지를 전제로 한 후속 문제
- 20260607-wait-for-technology-strategy — 환경 스케일링의 병목이 기술을 기다리는 전략의 근거가 됨
- 20260605-glm-5-report* — GLM 5 리포트는 RL 환경 확장을 위한 기술적 디테일을 제시
- 20260508-llm-wiki-compounds-with-accumulation — 지식 누적과 환경 스케일링의 유사성
인용
“환경 스케일링을 하면, RL에서의 환경을 얘기하는 건데… 그 환경들을 다양하게 늘려 나가야 될 겁니다. 왜냐하면 지금 단순한 작업들을 하다가 점점 더 다양한 작업들, 더 복잡한 작업들을 하고 있잖아요.”
“The Second Half를 받아들여서 RL을 하고, RL을 할 수 있는 환경이 있으면 무슨 문제든지 다 풀 수 있다고 가정했을 때, 그렇다고 하면 무슨 문제든지 다 풀 수 있으니까 환경을 만드는 것이 오히려 유일한 기술의 병목이 될 텐데요.”
출처
*새로 생성해야 할 stub 노트