정의
현재 프론티어 AI 모델의 발전은 강화학습(RL) 방법의 효율화, 안정화, 다양화에 집중되어 있으며, RL 환경의 복잡성과 확장(환경 스케일링)이 미래 발전의 주요 병목으로 인식된다. Yao Shunyu의 ‘The Second Half’ 개념에 따르면 RL은 이미 ‘답지’로서 발견되었고, 이후 과제는 이 방법을 적용할 환경을 확장하는 것이다.
핵심 속성
- 현재 혁신의 방향: GLM 5 사례에서 드러난 세 가지 축 — RL 효율화(Sparse Attention, async RL), RL 안정화(objective 수정), RL 다양화(환경 확장)
- 환경 스케일링 병목: RL 환경은 에이전트가 활동할 수 있는 공간(예: 소프트웨어 엔지니어링 과제)이며, 과제 복잡성이 증가함에 따라 환경 구축 비용과 시간도 증가
- 발전 시나리오: 세 가지 궤적 — 기술적 혁신을 통한 지수적 발전(지속 학습 해결), 점진적 개선을 통한 선형적 발전(기술 혁신이 복잡성을 낮춤), 기술 혁신 부재 시 점근적 정체
관계
- the-second-half-paradigm — 상위개념 (Yao Shunyu의 패러다임)
- post-training-rl — 연장 (포스트 트레이닝에서 RL의 역할)
- 20260606-continual-learning — 연장 (지속 학습이 환경 스케일링을 해결할 가능성)
- 20260606-environment-scaling-determines-ai-progress — 인사이트 관계 (garden 노트)
인용
“The Second Half로 오면서 우리는 방법에 대해서 답을 찾았다, 답지를 찾았으니까 이 답을 가지고 여기저기 문제에 대해서 적용하면 그만이다.… 다들 RL이 답지, 답이 되었고, RL을 더 잘하기 위한 것, 그리고 RL을 더 확장하기 위한 것들이 대부분의 노력의 거의 전부였고 지금도 더더욱더 그렇습니다.”
“환경 스케일링 문제가 풀려 나갈 수 있는 시나리오가 제 생각에는 세 가지일 거고, 사실 이 세 가지가 가능한 곡선을 거의 다 포괄하는 내용이라서 사실 예측이 아니긴 합니다만 이 세 가지 시나리오가 있는 거죠.”