정의
Eugene Yan이 정리한 LLM 기반 시스템 및 제품 구축에 필요한 7가지 핵심 패턴(Evals, RAG, Fine-tuning, Caching, Guardrails, Defensive UX, 사용자 피드백 수집)을 정의하고 각 패턴의 목적·구현 방법·적용 시 고려사항을 체계화한 실무 지침서.
핵심 속성
- 패턴의 이중 축 구성: 성능 향상(offensive)과 비용/위험 감소(defensive) 축, 데이터 근접성과 사용자 근접성 축으로 패턴을 분류.
- Evals (평가): 시스템 성능 측정 및 회귀 탐지의 기준. 오프라인 메트릭(BLEU, ROUGE, BERTScore 등)과 LLM-as-a-judge 평가 방법 포함.
- RAG (검색 증강 생성): 외부 지식을 검색하여 LLM에 주입, 환각 감소 및 최신 정보 반영. 하이브리드 검색(키워드+임베딩)이 단일 방식보다 우수.
- Fine-tuning (미세 조정): 특정 작업에 특화된 모델 구축. LoRA/QLoRA 같은 파라미터 효율적 방법이 전면 미세 조정보다 과적합에 강함.
- Caching (캐싱): 이전 응답을 저장하여 지연 시간 및 비용 절감. 단순 의미 유사도 기반은 위험, 요청 패턴 분석과 제한된 입력 기반 캐싱이 안전함.
- Guardrails (가드레일): 출력의 구문·의미·안전성 검증. Guidance 같은 구조적 제어 도구가 LLM의 자유 생성보다 신뢰성 높음.
- Defensive UX (방어적 UX): LLM의 불완전성을 인지하고 사용자 기대치 조정, 효율적 해제, 출처 제공, 친숙한 UI 설계.
- 사용자 피드백 수집: 명시적(좋아요/싫어요) 및 암시적(수락/무시) 피드백으로 데이터 플라이휠 구축.
관계
- 20260605-evals-first-step — 하위개념 (Evals 패턴의 실천적 중요성 강조)
- 20260605-rag-hybrid-retrieval — 하위개념 (RAG 패턴의 구체적 구현 방법)
- 20260605-safe-caching-strategy — 하위개념 (Caching 패턴의 안전한 적용 원칙)
- 원문 클리핑 — 출처
인용
“Evals are a set of measurements used to assess a model’s performance on a task.” / “How important evals are to the team is a major differentiator between folks rushing out hot garbage and those seriously building products in the space.” — HackerNews comment, 인용됨