Data Agent에서 “질문을 잘 되묻는 능력”은 부가 기능이 아니라 품질의 핵심이다. “지난달 전환율 좀 봐줘”라는 요청은 단순해 보이지만, 어떤 전환율인지 정의가 없다면 바로 SQL을 실행하는 순간 틀린 답을 빠르게 내는 시스템이 된다. 빠른 실행보다 중요한 것은 올바른 중단점이다.
이 관점은 Henry의 NPS 분석 맥락에도 중요하다. 사용자 단위 지표와 주문 단위 KPI가 섞이면 분석 단위 불일치가 발생하듯, Data Agent도 지표 정의와 분석 단위를 확인하지 않으면 그럴듯한 결과를 낼수록 위험해진다. 좋은 workflow는 MetricCheck -> NeedClarification처럼 모호성을 먼저 분기시키고, 후속 요청에서는 이전 scope를 복원해 변경된 조건만 반영한다.
근거
원문은 전환율 기준이 모호하면 MessageReceived -> MetricCheck -> NeedClarification 경로를 타고 먼저 물어야 한다고 설명한다. 또한 후속 요청은 최신 메시지만 보면 안 되고 이전 분석의 기간, 지표, 필터를 유지해야 한다고 말한다.
좋은 Data Agent는 바로 SQL을 실행하지 않습니다. 전환율 기준이 모호하다면 먼저 물어야 합니다.
연결된 생각
- 20260630-data-agent-workflow-architecture — clarification과 scope 복원을 workflow node로 구조화한다.
- 20260629-ontology-as-relation-index-for-coding-agents — 지표, 필터, 기간의 관계가 명시되어야 후속 요청을 안정적으로 처리할 수 있다.
- 20260512-ai-bottleneck-design-workflow — AI 활용 병목이 모델이 아니라 설계 workflow에 있다는 관점과 이어진다.