최승준은 프롬프팅에서 “적확한 토큰”의 중요성을 게임 비유로 설명한다. 모델은 이미 방대한 지식을 갖고 있지만, 특정 도메인에 주의를 기울이려면 마치 RPG 미니맵이 밝아지듯 해당 영역의 토큰이 입력되어야 한다. 이는 단순한 역할 부여(persona)보다 훨씬 강력하다. 예를 들어 “전문가처럼 말해줘”보다 “Sparse MoE, KV cache, attention head” 같은 용어를 넣는 것이 모델의 출력 분포를 급격히 바꾼다.
근거
원문에서 승준은 arXiv 초록을 무작위로 가져와 프롬프트에 주입하는 실험을 소개한다. “내가 모르는 영역에 대해서 대화를 하기 때문에 위험성은 따라오지만, 그 맥락에서 진짜 전문가들이 할 법한 이야기들의 그 어떤 분포를 만들어 낼 때는, 나는 모르지만 실제로 존재하는 토큰들을 어떻게든 끌어와야 한다”고 말한다. 실제로 그가 만든 “도메인 프라이밍” 스킬은 이 원리를 코드화한 것이다.
그 특정한 용어를 쓸 때와 안 쓸 때의 응답의 질 차이는 꽤 나거든요. (원문)
연결된 생각
- 20260606-proper-token-priming — 이 기법의 구체적인 방법과 속성을 정리한 개념 노트.
- 20260606-skill-as-byproduct-pipeline — 이러한 기법을 재사용 가능한 패키지로 만든 스킬의 사례.