LLM 기술의 진입장벽이 낮아지면서 누구나 ‘마법 같은 데모’를 만들 수 있게 되었지만, 실제 환경에서 99%의 신뢰도를 보장하는 ‘제품’을 만드는 것은 차원이 다른 문제다. 안드레 카파시의 비유처럼, 자율주행 데모와 상용 서비스 사이의 10년이라는 간극은 LLM 영역에서도 동일하게 존재한다. 이 간극을 메우는 것은 화려한 프롬프트 기술이 아니라 지루하고 반복적인 공학적 토대인 **Evals(평가)**이다.
이 패턴의 핵심 통찰은 LLM 시스템 개발이 ‘마술’에서 ‘신뢰성 공학’으로 전환되어야 한다는 점에 있다. ‘Vibe Check(느낌적인 느낌)‘에 의존하는 개발은 시스템의 변경이 미치는 파급 효과를 예측할 수 없게 만들며, 결국 ‘쓰레기를 쏟아내는 시스템’으로 귀결될 위험이 크다.
근거
Eugene Yan은 에이전트나 제품을Seriously 구축하는 팀과 그렇지 않은 팀을 가르는 결정적 차이가 바로 ‘Evals’에 얼마나 진심인가라고 지적한다.
“Evals가 팀에게 얼마나 중요한지는 쓰레기 같은 결과물을 내놓는 팀과 진지하게 제품을 만드는 팀을 가르는 주요 차별점이다.”
연결된 생각
- 20260609-llm-system-building-patterns — 이러한 공학적 접근을 실현하기 위한 구체적인 7가지 도구 모음.