정의
RL 환경 스케일링이란 LLM 에이전트의 강화학습(RL)에서 모델이 활동할 수 있는 과제의 범위와 복잡성을 체계적으로 확장하는 과정을 말한다. 주어진 방법(RL)이 정답일 때 유일한 병목이 환경의 다양성과 난이도이며, 환경을 얼마나 효율적으로 만들고 확장하느냐가 모델 발전의 궤적을 결정한다.
핵심 속성
- 병목 위치: 방법론(R: The Second Half 패러다임)이 확립된 후 남은 유일한 기술적 장벽은 환경 스케일링이다.
- 스케일링 곡선의 유형: 지수적(지속 학습 기술 돌파), 선형적(점진적 기술 혁신 + 복잡성 관리), 점근적(기술 혁신 부재 시 소멸) 세 가지 경로가 가능하다.
- 일반화와의 관계: 단순 환경에서의 학습이 복잡한 환경으로 일반화될수록 스케일링 부담이 줄어든다. 환경 스케일링의 핵심 돌파구 중 하나는 모델의 일반화 능력 확장이다.
- 지속 학습과의 연결: 환경 스케일링이 기술적으로 완전히 해결되는 시나리오는 모델이 스스로 환경을 발견하고 부트스트래핑하는 지속 학습(continual learning)이 가능해지는 순간이다.
관계
- 20260606-basics-before-breakthroughs — 환경 스케일링을 실제로 수행하려면 기초 데이터·인프라에 충실해야 한다는 실천적 관점을 제공
- The Second Half (비공식 개념) — 방법론이 확립된 이후 환경 확장이 유일한 과제임을 전제
인용
“환경 스케일링을 하면, RL에서의 환경을 얘기하는 건데… 지금의 에이전트, LLM 에이전트라고 하면 예를 들어서 소프트웨어 엔지니어링 과제 같은 것들이 하나의 환경이 되겠죠. … 이런 환경들을 다양하게 늘려 나가야 될 겁니다.”