정의
적확한 토큰(Token Priming)이란 LLM의 프롬프트 입력 시 특정 도메인에 정밀하게 부합하는 용어·이름·초록 등을 전략적으로 배치함으로써, 모델이 해당 영역에 특화된 지식과 연상 능력을 최대한 발휘하도록 유도하는 기법이다. 단순한 persona 부여보다 훨씬 강력한 효과를 가지며, Transformer 아키텍처의 attention 메커니즘과 FFN의 분포 특성에 기반한다.
핵심 속성
- 작동 원리: Transformer의 self-attention은 입력 토큰 간 상호작용으로 표현을 갱신한다. 특정 도메인의 전문 용어나 인용이 입력에 포함되면, 모델의 내부 표현 공간에서 해당 영역으로 주의(attention)가 집중되고, FFN(또는 MoE)의 전문가 라우팅 확률이 높아진다.
- 효과 요인: 적확한 토큰이 많을수록 모델의 ‘스포츠카 모드’가 활성화되어, 사용자가 해당 영역을 잘 알고 있다고 가정하고 고급 추론을 시도한다. 반면 부정확하거나 모호한 토큰은 오히려 분포를 흐려 응답 품질을 낮춘다.
- 리스크: 사용자가 모르는 도메인의 토큰을 무분별하게 주입하면 모델의 응답을 제어하기 어려워지고, 환각이나 잘못된 연결이 발생할 가능성이 커진다. (소위 ‘산으로 가는’ 현상)
- 적용 영역: 코딩(스킬, Claude Code), 과학 연구(arXiv 초록), 창작(인물 소환, 두문자어 연상) 등 모든 지식 작업.
관계
- 20260606-적확한-토큰이-프롬프팅의-성패를-가른다 — 하위개념 (garden 노트에서 구체적 사례)
- 20260606-모델을-이해해야-모델을-잘-쓸-수-있다 — 연장 (모델 내부 원리 이해 필요성)
- CoT-faithfulness — 대조 (CoT 충실성 문제는 토큰 프라이밍의 한계를 드러냄)
- skills — 연장 (스킬은 적확한 토큰을 체계화한 패키지)
인용
“적확한 토큰을 넣어줘야 반응이 나오거든요. … 그 특정한 용어를 쓸 때와 안 쓸 때의 응답의 질 차이는 꽤 나거든요.” — 최승준
출처
- 📎 클리핑: 20260613-ep82-ko-transcript