정의
지속 학습(Continual Learning)은 모델이 새로운 작업이나 환경에 적응하면서도 이전에 학습한 지식을 잃지 않고(치명적 망각 방지) 지속적으로 학습할 수 있는 능력을 말한다. 현재 LLM의 pre-training 스케일링이 한계에 도달함에 따라, 다음 단계의 성능 향상을 위해 필요한 핵심 연구 분야로 주목받고 있다.
핵심 속성
- 샘플 효율성: 인간은 적은 데이터로도 학습하지만, 현재 LLM은 대규모 데이터가 필요. 지속 학습은 샘플 효율성을 높이는 방향으로 연구됨.
- 환경 일반화: RL의 환경에 과적합되지 않고 다양한 실제 환경에서도 잘 작동해야 함.
- 치명적 망각 방지: 새로운 학습이 이전 지식을 덮어쓰는 문제를 해결해야 함.
- 의사결정 메커니즘: 감정과 같은 가치 함수가 불확실성 속에서 의사결정을 돕는 휴리스틱을 제공——Ilya Sutskever의 관점과 연결됨.
관계
- 20260606-bench-maxxing — 증상: bench-maxxing은 지속 학습 부재의 결과.
- 20260606-emotion-as-value-function — 연장: 감정-가치 함수는 지속 학습의 샘플 효율성을 높이는 메커니즘.
- 20260707-memory-externalization-bypasses-continual-learning — 우회: 가중치 학습이 불가능한 현재, 하네스가 기억을 외재화해 유사 효과를 달성.
- 20260809-moat-migration-from-context-files-to-weights — 산업적 귀결: 지속 학습이 도입되면 전환비용이 컨텍스트 파일에서 가중치로 이동해 AI 랩의 해자가 된다.
- 20260809-continuous-oversight-under-continual-learning — 규제·정렬적 귀결: 배포 전 검사라는 범주가 소멸하고 상시 감시로 이동한다.
인용
“pre-training의 스케일링만으로 지금 수준의 모델 성능에 도달하려면 그 스케일이 어마어마해야 했을 겁니다. 그 돌파구를 찾았던 게 굉장히 연구적인 접근이었던 o1하고 RL이죠.”
“continual learning이라는 개념이 들어오면서 그 continual learning을 통해서 이루고 싶어 하는 것들이 바로 그런 형태의 그림이거든요.”