Ilya Sutskever가 지적했듯, 현재 LLM은 평가 벤치마크에서 놀라운 성능을 보이면서도 실제 사용에서는 어이없는 실수를 저지른다. 이는 마치 1만 시간의 경쟁 코딩 문제를 푼 학생이 단순한 상황 판단은 못 하는 것과 유사하다. 근본 원인은 RL 환경이 실제 사용 환경과 다르기 때문이다. 모델은 벤치마크를 최적화하도록 학습되므로(벤치맥싱), 벤치마크 밖의 상황에서는 일반화가 떨어진다. 진정한 일반화를 위해서는 환경 설계 자체가 달라져야 한다. 사용자의 실제 작업을 반영하는 환경, 그리고 다양한 작업에 대해 지속적으로 학습할 수 있는 continual learning 프레임워크가 필요하다. 단순히 더 많은 데이터를 주거나 더 긴 rollout을 하는 것으로는 이 문제가 해결되지 않는다.
근거
“RL scaling을 하려고 하면 결국 환경이 있어야 되잖아요. 그 환경 속에서 모델이 RL을 하고 학습을 해 나가야 되는데 그것들을 하나하나 만들어 줘야 되는 거죠.” (김성현)
“평가라는 것 자체가 하나의 환경입니다. 그 환경을 target으로 해서 RL을 해 가지고 모델을 학습시킬 수가 있어요. 그러면 평가는 잘하겠죠. 그런데 문제는 그 환경이 실제로 경제적으로 가치 있는 일들, 혹은 사람들이 사용하는 것과 얼마나 관계가 있는지는 별개의 문제입니다.”
연결된 생각
- 20260607-continual-learning-and-agi-path — 환경 설계를 지속 학습의 관점에서 다루는 개념
- 20260607-taste-emerges-from-quantity-to-quality — 좋은 연구 취향이 이러한 문제를 인식하게 하는 방향
출처
- 📎 클리핑: 20260613-ep98-ko-transcript 클리핑 · youtube.com