Ilya가 던진 화두 — 모델은 벤치마크를 놀랍도록 잘 통과하는데 왜 실제로 쓰면 어이없는 버그를 내는가. 김성현은 이를 RL scaling의 현재 한계로 본다. RL을 하려면 환경이 있어야 하고, 평가 자체가 하나의 환경이다. 그 환경을 target해 학습하면 평가는 잘하지만, 그 환경이 실제 사용 환경과 얼마나 일치하는지는 별개 문제다.
근거
bench-maxxing — 벤치마크를 target해 학습하면 벤치마크는 잘 풀지만 실사용 성능은 보장되지 않는다. 사람들이 실제로 모델을 쓰는 방법에 맞는 환경을 하나하나 만들어야 하는데, 과제 길이는 점점 길어지고 환경을 어떻게 만들지, 사람이 직접 만들어야 하는지, 새 환경에 어떻게 일반화시킬지 모두 미해결이다.
“그 환경이 실제로 경제적으로 가치 있는 일들, 혹은 사람들이 사용하는 것과 얼마나 관계가 있는지는 별개의 문제입니다. (…) 그 환경을 어떻게 만들 것인가가 지금 제일 큰 문제죠.”
연결된 생각
- 20260603-ilya-sutskever — 이 한계를 화두로 던진 연구자
- 20260602-non-verifiable-to-verifiable-closed-loop — 환경=verifiable 라벨을 만드는 시스템이라는 동일 구조
- 20260602-post-training-recipe-is-the-new-frontier-moat — 환경 제작 노하우가 곧 프런티어 경쟁력