정의
지속 학습(Continual Learning)은 모델이 새로운 작업이나 환경 변화에 적응하기 위해 지속적으로 파라미터를 갱신하는 패러다임이다. 이는 pre-training scaling만으로는 달성하기 어려운 데이터 효율성과 일반화 문제를 해결하기 위한 핵심 연구 방향이다.
핵심 속성
- 필요성: Pre-training 스케일링은 데이터와 계산량의 한계에 직면했으며, o1/RL 같은 새로운 패러다임이 추가적인 성능 향상을 이끌었다. 향후 AGI로 가기 위해서는 continual learning이 필수적이다.
- 환경 의존성: RL 기반 post-training은 환경 설계에 크게 의존한다. 자동 평가 가능한 벤치마크에 과적합된 모델(bench-maxxing)은 실제 사용 환경에서 어처구니없는 실수를 저지른다.
- 일반화와의 긴장 관계: 일반화를 위해서는 inductive bias가 필요하지만, 딥러닝은 이를 제거하는 방향으로 발전해 왔다. 인간은 사회적 욕구, 감정적 가치 함수 등 강력한 inductive bias를 통해 샘플 효율성을 얻는다.
- 내적 동기(Intrinsic Motivation): 외부 보상 없이도 탐색을 지속하게 하는 내적 동기가 인간의 지속 학습을 뒷받침한다. 수학 증명과 같은 장기 과제는 이러한 내적 동기의 중요성을 보여준다.
관계
- 20260607-scaling-and-research-are-complementary — 연장: 스케일링과 연구는 상호보완적이며 continual learning은 새로운 연구 축
- 20260607-bench-maxxing-causes-spiky-abilities — 대조: Bench-maxxing이 실제 일반화를 저해하는 현상과의 대비
- 20260607-taste-emerges-from-quantity-to-quality — 연장: 연구 취향은 지속 학습 환경을 설계하는 직관을 제공
인용
“사람들이 실제로 모델과 상호작용하는 방법들, 사람이 모델을 사용하는 방법들에 대해서는 거기에 맞는 환경을 만들어 줘야 될 거예요. 그리고 그 환경을 어떻게 만들 것인가가 지금 제일 큰 문제죠.” (김성현)
출처
- 📎 클리핑: 20260613-ep98-ko-transcript 클리핑 · youtube.com