마이리얼트립에서는 AI가 하루에 데이터 분석 요청 500건을 처리합니다. 이 AI Agent를 개발하고 운영하면서 느낀 가장 중요했던 세 가지를 정리봤습니다. 1. Harness — 요청 흐름의 골격을 잡는다. 큰 prompt 하나로 다 시키면 성능도 저하되고, 비용은 폭발적으로 증가합니다. 결국 4단으로 분업했습니다. - listener:… | Hyeon Yeong Jeong
Agree & Join LinkedIn
Hyeon Yeong Jeong’s Post
1w Edited
마이리얼트립에서는 AI가 하루에 데이터 분석 요청 500건을 처리합니다. 이 AI Agent를 개발하고 운영하면서 느낀 가장 중요했던 세 가지를 정리봤습니다. 1. Harness — 요청 흐름의 골격을 잡는다. 큰 prompt 하나로 다 시키면 성능도 저하되고, 비용은 폭발적으로 증가합니다. 결국 4단으로 분업했습니다. - listener: Slack 메시지 받아서 shard로 전달 - dispatcher: 중복 거르기, 쓰레드 잠금, 세션 관리 - orchestrator: 흐름만 책임지는 오케스트레이터 - worker: 분석/검색/보고서/메시지 작성을 subagent worker가 수행 핵심은 orchestrator가 가볍다는 점. 도메인 지식은 들고 다니지 않고, 필요한 worker를 필요한 순간에만 불러옵니다 (lazy load). Knowledge를 on-demand로 부르면 품질은 지키면서 비용은 낮출 수 있어요. 2. Knowledge — 회사 지표 기준의 사전을 둔다. dbt YAML 같은 스키마 메타데이터만으로는 비즈니스 질문에 답하기 어려웠어요. “어제 매출 얼마야?”라고 물었는데 어떤 날은 결제 기준만 포함한 매출, 어떤 날은 확정된 매출, 어떤 날은 취소분이 반영된 매출이 답으로 나갔어요. 해결은 prompt가 아니라 카탈로그였어요. 26개 핵심 지표를 Metric Registry라는 YAML 묶음으로 모았습니다. 표현(거래액/GMV/총거래액), 정의, 필터, 계산식을 한 곳에 두고 결정론적으로 매핑되게. 표현이 달라도 같은 metric으로 수렴합니다. 그리고 Auto Memory는 껐어요. 무엇을 기억했는지 불투명한 메모리는 검증도 관리도 안 됩니다. 명시적 Knowledge(Metric Registry, rules, skills, dbt YAML)만 사용해요. 3. 운영 루프 — 신뢰는 prompt가 아니라 test가 만든다. 품질을 prompt 수정으로만 올리려고 했더니, 한 곳을 고치면 다른 데서 회귀가 났어요. 그래서 운영 루프를 박았습니다 — 실패 사례 기록 → 원인 분석 → Knowledge 수정(Metric Registry/rule/skill) → 재발 방지 test 추가. shell test와 eval로 실제 Slack 대화를 자동 재현해서 정확성·행동 경로·안정성·형식 네 가지를 매번 검증해요. 여기에 안전망 4겹을 깔았습니다. - Role: 권한 범위 제한 - Gate: 요청 범위 사전 판정 - Rule: 자연어 정책 - Hook: 실행 직전 코드 차단 Rule이 설명 가능한 안전망이라면, Hook은 실행을 멈추는 안전망이에요. 둘 다 필요합니다. SELECT만 허용, 100GB scan cap, PII 자동 마스킹까지 코드 레벨에서 강제돼요. Harness로 흐름을 만들고, Knowledge Layer로 기준을 만들고, Hook 으로 신뢰를 만들면 일을 돕는 AI가 아니라, 일을 하는 AI를 만들게 됩니다.
-
View C2PA information
-
-
-
-