마이리얼트립 팀은 오케스트레이터가 도메인 지식을 전혀 들고 다니지 않도록 설계했다. 필요한 worker를 필요한 순간에만 lazy load하고, orchestrator는 흐름 제어만 책임진다. 이 ‘무지함’이 오히려 비용을 낮추고 품질을 높이는 핵심이었다.

큰 프롬프트 하나에 모든 로직을 때려넣는 접근은 성능 저하와 비용 폭발을 동시에 초래한다. Orchestrator를 가볍게 유지하면 각 worker의 교체와 테스트가 쉬워지고, knowledge on-demand 전략은 토큰 소비를 획기적으로 줄인다. 이는 마이크로서비스의 ‘멍청한 파이프, 똑똑한 엔드포인트’ 패턴과 동형이다.

근거

“핵심은 orchestrator가 가볍다는 점. 도메인 지식은 들고 다니지 않고, 필요한 worker를 필요한 순간에만 불러옵니다 (lazy load). Knowledge를 on-demand로 부르면 품질은 지키면서 비용은 낮출 수 있어요.”

연결된 생각

출처

클리핑 · linkedin.com