정의
‘일을 돕는 AI’를 ‘일을 하는 AI’로 전환시키는 조건을 정리한 프레임. Harness가 요청 흐름을, Knowledge Layer가 판단 기준을, 운영 루프와 4겹 안전망(Role·Gate·Rule·Hook)이 신뢰를 만든다. 마이리얼트립이 하루 500건의 데이터 분석 요청을 AI Agent로 처리하며 실증했다.
핵심 속성
- 1층 흐름(Harness): listener → dispatcher → orchestrator → worker의 4단 분업. orchestrator는 도메인 지식을 들고 다니지 않고 필요한 worker만 lazy load — 품질을 지키면서 비용을 낮추는 핵심.
- 2층 기준(Knowledge Layer): 26개 핵심 지표를 Metric Registry(YAML 카탈로그)로 결정론적 매핑. “어제 매출”의 모호성은 prompt가 아니라 카탈로그로 해결. Auto Memory는 검증 불가라 폐기, 명시적 Knowledge(Metric Registry·rules·skills·dbt YAML)만 사용.
- 3층 신뢰(운영 루프 + 안전망): 실패 사례 기록 → 원인 분석 → Knowledge 수정 → 재발 방지 test 추가. shell test와 eval이 실제 Slack 대화를 재현해 정확성·행동 경로·안정성·형식 4가지를 매번 검증. 안전망은 Role(권한)·Gate(사전 판정)·Rule(설명 가능한 자연어 정책)·Hook(실행 직전 코드 차단)의 4겹.
- 전환 조건: 세 층이 모두 갖춰졌을 때 비로소 인간의 검토 없이 결과를 위임할 수 있는 ‘일을 하는 AI’가 된다. 어느 한 층이라도 빠지면 인간이 매번 확인해야 하는 ‘돕는 AI’에 머문다.
관계
- 20260515-harness-knowledge-hook-three-pillars — 연장: 3기둥 각론을 ‘위임 전환 조건’이라는 상위 프레임으로 종합
- 20260515-hyeon-yeong-jeong — 이 프레임의 정립자
- 20260515-myrealtrip — 실증 조직 (하루 500건 프로덕션 운영)
- 20260610-agent-harness-as-performance-differentiator — 동일 계열: 성능 차별화는 모델이 아니라 하네스에서 나온다
- 20260609-dual-safety-net-natural-language-rules-and-code-hooks — 하위개념: Rule/Hook 이중 안전망의 상세
인용
Harness로 흐름을 만들고, Knowledge Layer로 기준을 만들고, Hook으로 신뢰를 만들면 일을 돕는 AI가 아니라, 일을 하는 AI를 만들게 됩니다.
Rule이 설명 가능한 안전망이라면, Hook은 실행을 멈추는 안전망이에요. 둘 다 필요합니다.