LLM 응답을 임베딩 유사도 기반으로 캐싱하는 접근은 겉보기엔 매력적이지만, 실제로는 “재앙을 기다리는 일”이라는 비판을 받는다. 영화 “미션 임파서블 2”와 “미션 임파서블 3”를 의미적으로 유사하다고 판단해 잘못된 요약을 제공할 수 있기 때문이다. Eugene Yan은 캐싱을 안전하게 적용하려면 단순 의미 유사도보다 사용자 요청 패턴의 멱법칙 분포를 이해하고, 제품 ID 쌍이나 제한된 입력 변수(장르, 감독 등)를 기반으로 캐싱하는 것이 더 신뢰할 수 있다고 조언한다. 또한 오프라인/비동기 선행 캐싱(Pre-computing)이 실시간 생성보다 대기 시간과 비용을 더 효과적으로 줄일 수 있다.
근거
원문에서 “disaster waiting to happen”이라는 업계 실무자의 경고를 인용하며, 구체적 사례(영화 요약 혼동)로 위험을 설명한다. 그리고 안전한 캐싱을 위한 대안을 제시한다: 항목 ID 기반, 항목 ID 쌍 기반(비교 요약), 제한된 입력 변수(구조적 쿼리 + LLM 우아한 표현), 사전 계산(Pre-compute) 방식. 또한 캐시 적중률이 높은 사용 패턴(파레토 법칙)에만 캐싱이 효과적임을 강조한다.
“For some practitioners, this sounds like ‘a disaster waiting to happen.’ I’m inclined to agree.”
연결된 생각
- 20260605-llm-seven-patterns — Caching 패턴의 상세한 위험과 안전장치
- 20260605-rag-hybrid-retrieval — 하이브리드 접근이 캐싱에도 적용됨 (제한된 입력 기반)