팟캐스트에서 논의된 ‘놀라운 능력과 어처구니없는 실수의 공존’은 LLM이 특정 벤치마크에 과적합되어 일반화에 실패하는 현상을 잘 설명한다. RL은 평가 환경을 목표로 학습하기 때문에 benchmark를 잘 풀지만 실제 사용에서는 엉뚱한 실수를 한다. 이는 모델이 진정한 지능을 갖추기 위해서는 단순한 스케일링이나 RL이 아닌, 환경 자체를 지속적으로 학습하고 적응하는 continual learning 능력이 필수적임을 시사한다. 또한 인간과 같이 샘플 효율적인 학습을 위해서는 감정이나 내적 동기와 같은 가치 함수가 필요하다.
근거
“평가는 보통 자동적으로 할 수 있는 걸 원하기 때문에… 평가라는 것 자체가 하나의 환경입니다. benchmark를 target해서 학습시키면 benchmark를 잘 풀 수 있어요. 그런데 그 benchmark를 잘 푼다고 해서 그 모델이 실제로 사용 환경에서 잘 작동하리라는 보장은 없는 거죠.”
“일반화가 현저히 떨어진다고 생각할 수 있는 게, 사람이 만약 그 정도의 데이터를 학습하고 그 정도의 환경에서 학습을 했으면 새로운 문제들에 대해서도 굉장히 잘하지 않을까요?”
연결된 생각
- 20260606-continual-learning — 지속 학습이 벤치맥싱 문제의 근본 해결책.
- 20260606-emotion-as-value-function — 감정 기반 가치 함수가 샘플 효율성을 높여 일반화 개선.