정의
모델의 성능은 입력되는 토큰의 ‘적확성’에 크게 의존한다. 특정 도메인의 전문 용어, 개념, 인물명 등이 프롬프트에 포함되면 모델의 내부 표현 공간에서 해당 영역이 ‘밝혀지며’ 더 정밀하고 관련성 높은 출력을 생성할 수 있다. 이는 마치 게임 맵에서 특정 지역에 도달해야 미니맵이 활성화되는 것과 유사하다.
핵심 속성
- 적확성(accuracy)의 중요성: 단순히 ‘전문가처럼 말해줘’라는 persona 지시보다 실제 전문가가 사용할 법한 토큰(용어, 이름, 논문 제목 등)을 제공했을 때 응답 질이 크게 향상된다.
- 토큰 프라이밍(token priming): 모델의 attention 메커니즘상 입력 초반에 도메인을 특정하는 토큰이 오면 이후 생성 분포가 해당 공간으로 수렴하기 쉽다. 이는
QKV연산에서 key-query 유사도가 높은 토큰이 더 큰 가중치를 받기 때문이다. - 발산적 탐색 도구: 무작위 4글자 두문자어(파레이돌리아 활용), arXiv 초록에서 추출한 용어, A-Z 인물 소환 등은 인간이 모르는 도메인이라도 모델의 연상 능력을 통해 의미 있는 토큰을 확보하는 방법이다.
- 위험성: 모르는 도메인의 토큰을 사용하면 모델이 사용자를 전문가로 오해하여 제어 불가능한 ‘스포츠카 모드’로 진입할 수 있으며, 잘못된 맥락이 형성될 위험이 있다.
관계
- 20260605-understand-model-to-help-model — 모델 이해의 실천적 측면
- 20260605-accurate-tokens-unlock-model-capabilities — 프라이밍의 효과를 주장하는 인사이트
- 20260508-llm-wiki-compounds-with-accumulation — 지식 축적과 토큰 밀도의 관계
- 20260508-ema-crossover-strategy — 패턴 인식과 신호 대 잡음비 (비유적 연결)
인용
“그 특정한 용어를 쓸 때와 안 쓸 때의 응답의 질 차이는 꽤 나거든요. … 실제로 그 전문가가 쓸 만한 토큰을 그래도 유사하게나마 넣어줬을 때의 응답은 질이 달라져요. 근데 Transformer의 원리를 생각하면 되게 당연하긴 하거든요.” (최승준)
출처
- 📎 클리핑: 20260613-ep82-ko-transcript