정의
AI 시스템 평가(evals)에서 반복적으로 나타나는 세 가지 이해 격차. Hamel Husain의 evals 프레임워크 기반. Analyze-Measure-Improve 사이클의 전제 조건.
핵심 속성
Gulf of Comprehension (이해의 걸프)
- 정의: 시스템이 실제로 무엇을 하는지와 내가 생각하는 것 사이의 격차
- 닫는 방법: 직접 출력을 읽고 실패 사례를 직접 관찰 (Error Analysis)
- 중요도: 반드시 가장 먼저 닫아야 한다. 이 걸프가 열려 있으면 나머지 둘을 닫아도 의미 없음
Gulf of Specification (명세의 걸프)
- 정의: 시스템이 해야 할 일과 judge가 측정하는 것 사이의 격차
- 원인: Comprehension 걸프를 건너뛸 때 직접 발생
- 결과: 실제 실패를 본 적 없으면 실패를 측정하는 judge를 쓸 수 없음
Gulf of Generalization (일반화의 걸프)
- 정의: 테스트 입력 성능과 미관찰 입력 성능 사이의 격차
- Auto Research 같은 최적화 루프가 타겟으로 하는 영역
- 조건: Comprehension + Specification 걸프가 먼저 닫혀 있어야 의미 있음
Error Analysis (오류 분석) 절차
- Open coding — 다양한 입력으로 실행, 출력 전부 직접 읽기, 자유형 메모
- Axial coding — 메모를 이진·구별 가능한 실패 분류체계로 정리
- Judge 작성 — 분류체계에 근거하여 작성
- Judge 검증 — 15-20개 출력을 수동 채점, 자동 judge와 비교 검증
- 자동화 루프 실행
관계
- 20260527-obsidian-claude-vault-intelligence-four-layers — 연결: 지식 시스템에서도 동일한 이해 선행 원칙 적용
- 20260527-claude-code-finance-research-workflow — 연결: Audit 단계가 Comprehension 걸프를 닫는 역할
인용
“If you are not willing to look at some data manually on a regular cadence you are wasting your time with evals.”
“The Gulf of Comprehension is the gap between what you think your system does and what it actually does. It’s the first gulf because it has to be closed before anything else can work.”