마이리얼트립의 운영기에서 가장 결정적인 한 줄: “orchestrator가 가볍다는 점. 도메인 지식은 들고 다니지 않고, 필요한 worker를 필요한 순간에만 불러옵니다 (lazy load).”
대부분의 사람은 AI 시스템을 만들 때 큰 prompt에 모든 컨텍스트를 다 넣으려 한다. 그 결과 성능 저하 + 비용 폭발. 마이리얼트립의 해결은 거꾸로다 — orchestrator는 흐름만 알고, 실제 지식은 worker가 호출 시점에 가져온다. 이 한 가지 결정이 하루 500건 처리를 가능하게 만든다.
근거
큰 prompt 하나로 다 시키면 성능도 저하되고, 비용은 폭발적으로 증가합니다. 결국 4단으로 분업했습니다. - listener / dispatcher / orchestrator / worker
핵심은 orchestrator가 가볍다는 점. 도메인 지식은 들고 다니지 않고, 필요한 worker를 필요한 순간에만 불러옵니다 (lazy load). Knowledge를 on-demand로 부르면 품질은 지키면서 비용은 낮출 수 있어요.
이는 운영체제의 paging과 같은 원리다 — 필요한 만큼만, 필요한 순간에 로드한다. AI 시스템이 시스템 엔지니어링의 고전적 원리들로 회귀하고 있다는 신호이기도 하다.
연결된 생각
- 20260515-agent-bottleneck-is-management-not-intelligence — 같은 통찰의 일반화
- 20260515-gstack-replaces-coordination-not-coding — 코디네이션 자동화 흐름
- 20260515-process-beats-prompting-in-ai-workflows — 같은 결론