정의
AI 시스템 평가에서 반드시 거쳐야 하는 세 가지 협곡(Gulf of Comprehension, Specification, Generalization)과 개방 코딩-축 코딩-판정자 작성-판정자 검증-최적화의 5단계 에러 분석 프로세스를 정의하는 프레임워크. Hamel Husain과 @sh_reya의 연구, Karpathy의 Auto Research 라이브러리에서 파생됨.
핵심 속성
- Gulf of Comprehension: 시스템이 실제로 무엇을 하는지와 사용자가 생각하는 것 사이의 간극. 실패의 모양, 어떤 경우에 어떻게 깨지는지, 어떤 이유로 깨지는지를 이해하지 않으면 다음 단계로 넘어갈 수 없음.
- Gulf of Specification: 원하는 동작과 평가 기준(judge) 사이의 간극. Comprehension을 건너뛰면 실제 문제와 무관한 기준을 측정하게 됨.
- Gulf of Generalization: 테스트 입력에서는 잘 동작하지만 보지 못한 입력에서는 실패하는 간극. Auto Research의 최적화 루프는 이 협곡을 좁힐 수 있지만, 앞의 두 협곡이 닫혀 있어야 효과적.
- 에러 분석 5단계:
- 개방 코딩: 다양한 입력에 대해 실행하고 모든 출력을 읽으며 자유형식 노트 작성
- 축 코딩: 노트를 이진/범주형 실패 분류 체계로 그룹화
- 판정자 작성: 분류 체계에 기반한 judge 작성
- 판정자 검증: 기준별 15~20개 출력을 수동 점수화하여 미니 골든 데이터셋 구축
- 최적화 루프 실행: Auto Research 등 활용
관계
- 20260527-comprehension-before-automation — 인간의 이해가 자동화보다 선행되어야 한다는 garden 노트
- 20260527-product-management-parallel-three-gulfs — 제품 관리에서 동일한 패턴이 존재함을 주장하는 garden 노트
- karpathy-auto-research — 이 프레임워크가 적용된 구체적 도구 (추후 생성 필요)
인용
“If you are not willing to look at some data manually on a regular cadence you are wasting your time with evals.”