정의
마이리얼트립이 하루 500건 AI 데이터 분석 요청을 운영하면서 도달한 프로덕션 AI Agent 시스템의 3가지 핵심 구조: Harness(흐름의 골격) + Knowledge Layer(기준의 카탈로그) + Hook(신뢰의 안전망).
핵심 속성
- Harness (4단 분업):
- listener: Slack 메시지 수신 → shard 전달
- dispatcher: 중복 제거, 쓰레드 잠금, 세션 관리
- orchestrator: 흐름만 책임. 도메인 지식 미보유, lazy load
- worker: subagent worker가 분석·검색·보고서·메시지 작성
- 핵심 원칙: orchestrator는 가볍게. Knowledge는 on-demand
- Knowledge Layer (Metric Registry): 26개 핵심 지표를 YAML 묶음으로 명시. 표현(거래액/GMV/총거래액)·정의·필터·계산식을 한 곳에 모아 결정론적 매핑
- Auto Memory 폐기: 무엇을 기억했는지 불투명한 메모리는 검증 불가. 명시적 Knowledge(Metric Registry/rules/skills/dbt YAML)만 사용
- 운영 루프: 실패 사례 기록 → 원인 분석 → Knowledge 수정 → 재발 방지 test 추가
- 4겹 안전망:
- Role: 권한 범위 제한
- Gate: 요청 범위 사전 판정
- Rule: 자연어 정책 (설명 가능)
- Hook: 실행 직전 코드 차단 (실행 정지)
- 코드 레벨 강제: SELECT만 허용, 100GB scan cap, PII 자동 마스킹
관계
- 20260515-agent-team-operating-layer — 동일 카테고리: Paperclip + Hermes 패턴의 한국형 실증
- 20260515-gstack-ai-native-software-factory — 대조: gstack은 소프트웨어 개발 도메인, 이건 데이터 분석 도메인
- 20260508-no-evals-no-improvement-direction — 보강: shell test와 eval로 정확성·행동·안정성·형식 4가지 매번 검증
인용
Harness로 흐름을 만들고, Knowledge Layer로 기준을 만들고, Hook으로 신뢰를 만들면 일을 돕는 AI가 아니라, 일을 하는 AI를 만들게 됩니다.
신뢰는 prompt가 아니라 test가 만든다.