정의
AI 시스템(주로 LLM 프롬프트 및 스킬)을 최적화하고 평가하는 과정에서 개발자가 직면하는 세 단계의 인지적·기술적 격차. 이 간극을 하위 단계부터 순차적으로 해소하지 않으면 자동화된 최적화 루프는 실제 성능 향상으로 이어지지 않는다.
핵심 속성
- 이해의 간극 (Gulf of Comprehension): 시스템의 실제 동작 방식과 개발자의 예상 사이의 차이. 어떤 입력에서 왜 실패하는지에 대한 구체적인 모델이 없는 상태.
- 명세의 간극 (Gulf of Specification): 개발자가 원하는 시스템의 목표와 실제 평가자(Judge)가 측정하는 기준 사이의 차이. 이해의 간극을 건너뛸 때 발생한다.
- 일반화의 간극 (Gulf of Generalization): 테스트 데이터셋에서의 성능과 실제 배포 후 미지의 데이터에서의 성능 차이. 앞선 두 간극이 해결된 후에만 의미가 있다.
관계
- 20260527-automation-optimization-vs-comprehension — 연장: 이해 없는 자동화의 위험성
- 20260527-pm-comprehension-gap-analogy — 대조: 제품 관리 영역으로의 맥락 확장
인용
“데이터를 정기적으로 수동 확인(Manual Review)할 의지가 없다면, 당신은 이벨(Evals)과 함께 시간을 낭비하고 있는 것이다.”