정의
마이리얼트립에서 하루 500건의 데이터 분석 요청을 처리하는 AI 에이전트의 아키텍처 패턴. 4단 Harness(Listener, Dispatcher, Orchestrator, Worker)로 요청 흐름을 분업화하고, Metric Registry 기반 결정론적 지식 레이어를 통해 정확성을 확보하며, 테스트 자동화와 4겹 안전망으로 신뢰성을 보장한다.
핵심 속성
- Harness 구성: Listener (Slack 메시지 수신 및 shard 전달), Dispatcher (중복 제거, 스레드 잠금, 세션 관리), Orchestrator (흐름만 담당, 가벼움, worker를 lazy load), Worker (분석/검색/보고서/메시지 작성을 subagent worker가 수행)
- Knowledge Layer: 26개 핵심 지표를 Metric Registry(YAML)로 관리. 표현·정의·필터·계산식을 결정론적으로 매핑. Auto Memory는 비활성화.
- 운영 루프: 실패 사례 기록 → 원인 분석 → Knowledge(Metric Registry/rule/skill) 수정 → 재발 방지 test 추가. shell test와 eval로 실제 Slack 대화를 자동 재현하여 정확성·행동 경로·안정성·형식을 검증.
- 안전망 4겹: Role (권한 범위 제한), Gate (요청 범위 사전 판정), Rule (자연어 정책), Hook (실행 직전 코드 차단: SELECT만 허용, 100GB scan cap, PII 자동 마스킹)
관계
- metric-registry-concept — Metric Registry는 결정론적 지식 레이어의 핵심 요소
- ai-agent-safety-layers — 안전망 4겹의 일반화된 패턴
- test-driven-operations-for-llm — 운영 루프를 통한 품질 관리 방법론
인용
“큰 prompt 하나로 다 시키면 성능도 저하되고, 비용은 폭발적으로 증가합니다. 결국 4단으로 분업했습니다.” “표현이 달라도 같은 metric으로 수렴합니다.” “품질을 prompt 수정으로만 올리려고 했더니, 한 곳을 고치면 다른 데서 회귀가 났어요.”