LLM 기억의 한계와 MOOC 전략
핵심 개념
LLM은 본질적으로 순간적 기억(working memory) 에 의존하는 시스템이다. 거대한 훈련 데이터를 통해 학습했지만, 특정 대화 맥락에서의 ‘기억’은 제한된 컨텍스트 윈도우 내에서만 유지된다. 이는 인간의 단기 기억과 유사하지만, 인출(retrieval) 과정이 없다는 점에서 근본적으로 다르다.
MOOC 전략 (Memory Offset via Optimized Context)
MOOC은 LLM의 기억 한계를 극복하기 위한 방법론이다:
- 외부 메모리 계층화: 컨텍스트 윈도우를 계층적으로 구성하여 중요 정보를 우선 유지
- 압축 및 요약: 대화 히스토리를 손실 압축하여 더 많은 정보를 동일 컨텍스트에 포함
- 의도적 망각: 불필요한 정보를 적극적으로 제거하여 유효 컨텍스트 공간 확보
통찰: LLM은 ‘기억하지 못하는 것’을 기억해야 한다
LLM의 가장 큰 취약점은 자신이 무엇을 잊었는지 인식하지 못한다는 점이다. 인간은 ‘기억나지 않는다’는 상태를 메타인지하지만, LLM은 단순히 존재하지 않는 정보에 대해 환각(hallucination)을 생성한다. 따라서 효과적인 LLM 활용의 핵심은 망각의 메타인지를 외부 시스템으로 구현하는 것이다.
실용적 함의
- LLM과의 대화에서 중요한 정보는 명시적으로 요약하여 재입력
- 컨텍스트 윈도우가 절반 이상 채워지면 압축/정리 필요
- 장기 프로젝트에서는 외부 데이터베이스를 활용한 RAG(Retrieval-Augmented Generation)가 필수적
관련 개념
- llm-context-window: 컨텍스트 윈도우의 물리적 한계
- spaced-repetition: 인간의 망각 곡선과 LLM 기억의 비교
- knowledge-distillation: 대화 히스토리 압축 기술