프롬프트를 잘 쓰려는 사람은 대부분 단어를 고친다. 그런데 “사용 제한에 금방 걸린다”, “대화가 길어지면 느려진다”, “API 청구서가 예상보다 높다” 같은 실제 고통은 문장의 품질과 거의 무관하다. 원인은 텍스트가 KV 캐시와 어긋나게 놓여 있다는 데 있다.
근거
KV 캐시는 접두사가 완전히 일치하는 구간까지만 재사용된다. 이 한 문장에서 실행 규칙 다섯 개가 기계적으로 도출된다. 고정값(전제·자료·규칙)은 맨 앞에, 매번 바뀌는 질문은 맨 뒤에. 참고 자료는 세션 첫머리에 한 번만 던지고 이후엔 참조만 시킨다. 같은 주제는 새 채팅을 열지 말고 한 스레드에서 잇는다. 수정할 땐 전문을 다시 붙이지 말고 차이분만 지시한다. 서브에이전트를 여럿 돌릴 땐 시스템 프롬프트 앞부분을 통째로 통일하고 뒤쪽 작업 내용만 갈라놓는다.
이 장의 본질은 “프롬프트는 내용이 아니라 구조로 승부한다”입니다. 무엇을 쓰는가와 같은 정도로, 어디에 무엇을 놓는가가 효과를 냅니다.
새 채팅을 하루에 열 번 여는 습관이 한도를 갉아먹는 주범이라는 지적은 특히 아프다. 나는 그동안 그걸 “정리 정돈”이라고 부르며 매번 캐시를 버려왔다.
이 층이 흥미로운 이유가 하나 더 있다. 40개 기법 중 유일하게 모델 내부 구조에 근거해 있어서, 모델 세대가 바뀌어도 규칙이 그대로 산다. 프롬프트 기법의 대부분이 모델 발전과 함께 낡아갈 때 배치 규칙만은 남는다.
연결된 생각
- 20260605-kv-caching-benefit — 재사용이 왜 속도와 비용 양쪽을 동시에 움직이는지의 기초
- 20260605-transformer-token-journey-kv-cache — 접두사 일치라는 제약이 어디서 나오는지의 구조적 설명
- 20260605-kv-cache-pricing-tiers — 이 규칙이 실제 청구서에 반영되는 가격 구조
- 20260811-prompt-techniques-have-different-half-lives — 배치 규칙이 감가상각되지 않는 층에 속하는 이유