정의
AI Capability Overhang은 대규모 언어 모델이 사전 학습 및 미세 조정을 통해 습득했으나, 현재의 평가 체계나 사용자 인터페이스로는 완전히 발휘되지 못하는 잠재적 능력의 격차를 의미한다. 이 격차는 모델의 실제 성능이 벤치마크 점수보다 훨씬 높을 수 있음을 시사하며, 적절한 프롬프트, 도구 조합, 그리고 맥락 제공을 통해 추출될 수 있다.
핵심 속성
- 잠재 능력: 모델이 대규모 데이터에서 학습한 지식과 추론 패턴 중 명시적으로 드러나지 않은 부분
- 평가 한계: 기존 벤치마크(MMLU, HumanEval 등)는 정해진 형식으로만 측정하므로, 창발적 능력(예: 제로데이 취약점 발견)을 포착하지 못함
- 추출 필요성: 적절한 프롬프트 엔지니어링, 도구 사용(Claude Code, Codex 등), 멀티턴 상호작용을 통해 능력이 활성화됨
- 자원 의존성: 더 큰 모델(Mythos, Opus 등)일수록 capability overhang이 크며, 이를 활용하려면 충분한 컴퓨팅 자원과 시간이 필요함
관계
- 20260606-capability-overhang-extraction-is-key — 연장. Capability Overhang을 추출하는 구체적인 방법과 사례에 대한 인사이트를 제공한다.
인용
“지금 일어나는 모든 일들의 본질을 보면 사람의 기여분이 거의 없어요. 대부분 다 모델이 이미 가지고 있을 거라고 추정하는 모델의 과잉 능력, 저희가 항상 얘기하는 capability overhang이란 말을 많이 하잖아요. 그 능력을 누가 빨리 잘 꺼내 쓰느냐의 지금 싸움입니다.”