정의
지속 학습(Continual Learning)은 모델이 새로운 작업이나 환경에 적응하면서도 이전에 학습한 지식을 잃지 않고(치명적 망각 방지) 지속적으로 학습할 수 있는 능력을 말한다. 현재 LLM의 pre-training 스케일링이 한계에 도달함에 따라, 다음 단계의 성능 향상을 위해 필요한 핵심 연구 분야로 주목받고 있다.
핵심 속성
- 샘플 효율성: 인간은 적은 데이터로도 학습하지만, 현재 LLM은 대규모 데이터가 필요. 지속 학습은 샘플 효율성을 높이는 방향으로 연구됨.
- 환경 일반화: RL의 환경에 과적합되지 않고 다양한 실제 환경에서도 잘 작동해야 함.
- 치명적 망각 방지: 새로운 학습이 이전 지식을 덮어쓰는 문제를 해결해야 함.
- 의사결정 메커니즘: 감정과 같은 가치 함수가 불확실성 속에서 의사결정을 돕는 휴리스틱을 제공——Ilya Sutskever의 관점과 연결됨.
관계
- 20260606-bench-maxxing — 증상: bench-maxxing은 지속 학습 부재의 결과.
- 20260606-emotion-as-value-function — 연장: 감정-가치 함수는 지속 학습의 샘플 효율성을 높이는 메커니즘.
- 20260707-memory-externalization-bypasses-continual-learning — 우회: 가중치 학습이 불가능한 현재, 하네스가 기억을 외재화해 유사 효과를 달성.
인용
“pre-training의 스케일링만으로 지금 수준의 모델 성능에 도달하려면 그 스케일이 어마어마해야 했을 겁니다. 그 돌파구를 찾았던 게 굉장히 연구적인 접근이었던 o1하고 RL이죠.”
“continual learning이라는 개념이 들어오면서 그 continual learning을 통해서 이루고 싶어 하는 것들이 바로 그런 형태의 그림이거든요.”