대화 후반부에서 김성현은 컨텍스트 관리의 미래 방향을 설명했다. 전통적으로는 하네스(외부 프레임워크)가 컨텍스트 길이 제한을 해결했지만, 이제는 모델 자체가 컨텍스트를 이해하고 요약·전달하는 능력을 RL을 통해 학습할 수 있게 되었다. 멀티 에이전트 구조나 Compaction 같은 기법이 대표적이며, 이는 모델이 스스로 도구(다른 모델 인스턴스)를 사용하여 컨텍스트를 관리하는 형태로 진화하고 있다.
이 통찰은 AI 시스템의 아키텍처 설계에 큰 시사점을 준다. 더 이상 컨텍스트 창 크기를 늘리는 데만 집중할 필요가 없을지도 모른다. 오히려 모델이 스스로 컨텍스트를 압축하고 확장하며 판단하는 능력을 RL로 학습시키는 것이 더 효율적인 방향일 수 있다. 이는 또한 모델과 하네스의 경계가 사라지고 있음을 보여준다.
근거
“그런데 이제 그거 자체가 RL을 통해서 가능해진 것 중 하나는 그거 자체가 학습될 수 있게 되는 거죠. … 모델이 어떤 컨텍스트를 가지고 작업을 하고 있는데 컨텍스트 길이가 너무 긴 것 같은 거예요. … ‘아, 여기서 끝내지 못하겠구나. 넘기자, 다음으로.’ 그렇지만 넘길 때 지금까지 작업 진행 상황을 넘기기 위해서 요약해 놓자. 이런 의사결정을 할 수 있죠.”
“중요한 거는 이전이라고 하면 그걸 모든 걸 하네스로 했어야 되죠. … 지금은 도구 사용 같은 한계가 있겠지만 그것들이 어쨌든 학습된다는 거죠. 그리고 이것도 제 개인적인 믿음이지만 AI 모델에서 학습이 가능한 것과 가능하지 않은 것은 질적인 차이가 있습니다.”
연결된 생각
- 20260606-rl-centered-paradigm-and-environment-scaling — RL의 확장된 응용
- 20260606-basics-and-patience-in-ai-era — 점진적 개선의 예시
- 20260606-environment-scaling-determines-ai-progress — 환경 스케일링 시나리오와 연결