AI 결과물이 마음에 안 들 때 우리는 보통 “다시 써줘”라고 한다. 이 요청에는 정보가 거의 없다. 무엇이 왜 부족한지를 내가 언어화하지 못했으니, 모델은 같은 분포에서 다시 표본을 뽑을 수밖에 없다. 롱폼 대본이 추상적인 메타 설명(“~을 다룹니다”)만 늘어놓았을 때 저자가 한 일은 재요청이 아니라 원본 대본과 비교 분석을 시키는 것이었다.
근거
AI 결과물이 마음에 안 들면 그냥 “다시”라고 하지 말고, 무엇이 왜 부족한지 비교 분석을 시킨 다음 다시 요청하세요.
비교를 시킨 결과 모델이 내놓은 진단은 사람이 쓴 것처럼 구체적이다 — 원본은 “강력한 공감 → 과학적 원인 → 5단계 빌드업 → 3일 실천 루틴”이고, 시청자가 얻는 보상은 웃음이 아니라 “아, 내가 이래서 공부를 못했구나”라는 유레카의 쾌감이라는 것. 이 문장은 다음 프롬프트의 명세가 된다.
무슨 일이 일어난 걸까. 원본을 붙이는 순간 모델에게 평가 함수가 생긴다. 그전까지 모델은 “좋은 대본”이라는 정의되지 않은 목표를 향해 쐈고, 이후에는 “이 기준과의 격차”라는 측정 가능한 목표를 향해 쏜다. 즉 저자는 즉석에서 eval을 하나 만든 것이다. 데모와 제품을 가르는 것이 evals라는 명제가 프롬프트 한 줄 단위에서도 그대로 성립한다.
일반화하면 이렇다. 모델에게 부족한 건 대개 생성 능력이 아니라 기준이다. 그리고 기준을 내가 문장으로 쓸 능력이 없어도 괜찮다 — 기준을 가리킬 수만 있으면 언어화는 모델에게 위임할 수 있다. 좋은 예시 하나를 첨부하는 일이 형용사 열 개를 쌓는 일보다 강한 이유다.
연결된 생각
- 20260508-no-evals-no-improvement-direction — 같은 원리의 시스템 규모 버전: 평가 없이는 개선 방향을 알 수 없다.
- 20260820-ai-longform-production-pipeline — 이 기법이 2단계 대본 작성의 핵심 게이트로 들어간다.
- 20260815-benchmarking-copies-structure-not-surface — 원본을 앵커로 쓸 때 가져오는 것이 구조층임을 보여준다.
- 20260811-prompt-placement-beats-prompt-content — 대조: 프롬프트의 내용보다 놓이는 자리가 결정적이라는 인접 관찰.