정의

AI Agent를 프로덕션 스케일(하루 500건 요청)로 운영하기 위한 3축 시스템 설계 패턴. 단일 프롬프트의 한계를 극복하기 위해 Harness(요청 흐름 분업), Knowledge(명시적 지식 저장소), Test Loop(테스트 주도 품질 관리) 를 결합한다.

핵심 속성

  • Harness 구조: 4단 파이프라인 — listener(메시지 수신) → dispatcher(중복 제거/세션) → orchestrator(흐름만 제어, 도메인 지식 없음) → worker(분석/검색/보고서, subagent lazy load)
  • Knowledge Layer: Auto Memory 비활성화. 대신 Metric Registry(YAML), rules, skills, dbt YAML 등 명시적 정책 파일만 사용. 26개 핵심 지표를 결정론적 매핑.
  • 운영 루프: 실패 사례 기록 → 원인 분석 → 지식 수정 → 회귀 테스트 추가. Shell test + Eval로 정확성·행동 경로·안정성·형식 검증.
  • 안전망 4겹: Role(권한 범위), Gate(요청 범위 사전 판정), Rule(자연어 정책), Hook(실행 직전 코드 차단). SELECT만 허용, 100GB scan cap, PII 자동 마스킹.

관계

인용

“Harness로 흐름을 만들고, Knowledge Layer로 기준을 만들고, Hook으로 신뢰를 만들면 일을 돕는 AI가 아니라, 일을 하는 AI를 만들게 됩니다.”

출처

클리핑 · linkedin.com