많은 개발자가 새로운 데이터를 LLM에 학습시키기 위해 Fine-tuning을 먼저 고려하지만, 이는 ‘지식(Knowledge)‘과 ‘기술(Skill)‘을 혼동한 결과다. Fine-tuning은 모델이 특정 형식으로 답변하거나(스타일), 특정 명령을 수행하거나(행동 양식), 전문적인 용어를 이해하는 ‘기술’을 연마하는 데 적합하다. 반면, 최신 정보나 방대한 문서를 기억하고 인용하는 ‘지식’의 영역은 RAG가 압도적으로 효율적이다.
이 패턴에서 도출할 수 있는 날카로운 통찰은 지식은 외부에 두고, 기술은 모델 내부에 내재화하는 모듈화 전략이다. 모델을 거대한 데이터베이스로 쓰려는 시도(Fine-tuning 기반 지식 주입)는 업데이트 비용이 비싸고 환각을 제어하기 어렵다. 대신 모델을 고도로 숙련된 ‘이성적 사유 장치’로 훈련(Fine-tuning)시키고, 검색 엔진(RAG)을 통해 최신 문서를 읽게 하는 것이 현대적 LLM 아키텍처의 정석이다.
근거
Eugene Yan은 RAG가 환각을 줄이고 사실성을 높이는 더 저렴하고 효율적인 방법임을 강조하며, 검색 인덱스를 업데이트하는 것이 모델을 계속해서 재학습시키는 것보다 훨씬 현실적임을 지적한다.
“RAG는 모델을 검색된 컨텍스트에 접지(grounding)시켜 환각을 줄이고 사실성을 높인다. 또한 검색 인덱스를 업데이트하는 것이 LLM을 지속적으로 사전 학습시키는 것보다 훨씬 저렴하다.”
연결된 생각
- 20260609-llm-system-building-patterns — RAG와 Fine-tuning은 7대 패턴 중 모델 성능의 핵심 축을 담당한다.