정의
지속 학습(Continual Learning)은 AI 모델이 새로운 데이터, 환경, 태스크에 직면했을 때 기존 지식을 잊지 않으면서 지속적으로 학습하고 적응하는 패러다임이다. 이는 pre-training 스케일링만으로는 달성하기 어려운 일반화와 샘플 효율성을 목표로 한다.
핵심 속성
- 샘플 효율성: 인간처럼 적은 시행착오로 빠르게 학습할 수 있어야 함 (뜨거운 난로에 한 번만 손대면 학습).
- 환경 의존성: RL 환경 설계가 핵심 — 평가 환경과 실제 사용 환경의 불일치가 성능 차이를 유발.
- 가치 함수 연계: 감정과 가치 함수가 샘플 효율성과 의사결정을 돕는 역할 수행.
- 내적 동기: 외부 보상 없이도 탐색과 학습을 지속하게 하는 동기 부여 필요.
- 일반화: 새로운 태스크나 도메인으로의 전이가 가능해야 함.
관계
- 20260605-scaling-era-is-not-over — 지속 학습 없이 스케일링만으로는 AGI에 도달하기 어렵다는 논의.
- 20260605-emotion-as-value-function — 감정과 가치 함수의 유사성, 내적 동기 부여.
- research-era — 연구의 시대에서 지속 학습이 핵심 돌파구로 부상.
- generalization-and-inductive-bias — 일반화를 위해 귀납적 편향이 필수적임.
인용
“continual learning이라는 개념이 들어오면서 그 continual learning을 통해서 이루고 싶어 하는 것들이 바로 그런 형태의 그림이거든요. … 그 회사 내에 있는 모든 정보들, 모든 process를 빨리 파악하고 계속해서 끊임없이 학습하면서 사람의 수준을 뛰어넘는 거죠.” — 김성현