캐스케이드 라우터 설계 패턴
문제
LLM 서비스에서 모든 요청에 대해 동일한 모델을 사용하면 비용 효율성이 떨어진다. 질문의 난이도와 도메인에 따라 적절한 모델로 라우팅하는 방법이 필요하다.
해결 패턴
1. 규칙 기반 라우팅
- 방식: 질문의 길이, 키워드, 도메인 분류기를 통해 사전 정의된 규칙으로 라우팅
- 장점: 구현이 간단하고 지연 시간이 짧음
- 단점: 복잡한 질문을 구분하기 어려움
2. 확신도 기반 라우팅
- 방식: 소형 모델이 먼저 응답하고, 자체 평가한 확신도가 임계값 미만이면 대형 모델로 전달
- 장점: 동적으로 질문 난이도에 대응 가능
- 단점: 추가적인 평가 단계로 인한 지연 시간 증가
3. 하이브리드 라우팅
- 방식: 규칙 기반으로 1차 분류 후, 확신도 기반으로 2차 분류
- 장점: 두 방식의 장점을 결합
- 단점: 설계 복잡도 증가