정의

Capability Overhang(능력 과잉)은 AI 모델이 이미 내재적으로 보유하고 있으나 아직 활용되지 않은 초과 능력을 의미하며, 현재 경쟁의 핵심은 누가 이 능력을 빠르고 효과적으로 추출해내는가에 있다.

핵심 속성

  • 정의: 모델이 훈련 과정에서 습득했지만 아직 완전히 발현되지 않은 잠재적 성능.
  • 발생 원인: 사전훈련(pre-training)과 후속 파인튜닝 간의 간극, 프롬프트 엔지니어링의 한계, 또는 평가 벤치마크의 불완전성.
  • 현재 양상: 70일 주기의 모델 릴리스에서 각 버전이 이전 버전의 능력을 더 잘 꺼내도록 개선됨.
  • 전략적 함의: 모델을 만드는 능력보다 모델의 능력을 추출하는 능력이 경쟁 우위를 결정함.

관계

인용

“지금 일어나는 모든 일들의 본질을 보면 사람의 기여분이 거의 없어요. 대부분 다 모델이 이미 가지고 있을 거라고 추정하는 모델의 과잉 능력(capability overhang)을 누가 빨리 잘 꺼내 쓰느냐의 싸움”

출처

클리핑 · YouTube