정의

모델의 성능은 입력되는 토큰의 ‘적확성’에 크게 의존한다. 특정 도메인의 전문 용어, 개념, 인물명 등이 프롬프트에 포함되면 모델의 내부 표현 공간에서 해당 영역이 ‘밝혀지며’ 더 정밀하고 관련성 높은 출력을 생성할 수 있다. 이는 마치 게임 맵에서 특정 지역에 도달해야 미니맵이 활성화되는 것과 유사하다.

핵심 속성

  • 적확성(accuracy)의 중요성: 단순히 ‘전문가처럼 말해줘’라는 persona 지시보다 실제 전문가가 사용할 법한 토큰(용어, 이름, 논문 제목 등)을 제공했을 때 응답 질이 크게 향상된다.
  • 토큰 프라이밍(token priming): 모델의 attention 메커니즘상 입력 초반에 도메인을 특정하는 토큰이 오면 이후 생성 분포가 해당 공간으로 수렴하기 쉽다. 이는 QKV 연산에서 key-query 유사도가 높은 토큰이 더 큰 가중치를 받기 때문이다.
  • 발산적 탐색 도구: 무작위 4글자 두문자어(파레이돌리아 활용), arXiv 초록에서 추출한 용어, A-Z 인물 소환 등은 인간이 모르는 도메인이라도 모델의 연상 능력을 통해 의미 있는 토큰을 확보하는 방법이다.
  • 위험성: 모르는 도메인의 토큰을 사용하면 모델이 사용자를 전문가로 오해하여 제어 불가능한 ‘스포츠카 모드’로 진입할 수 있으며, 잘못된 맥락이 형성될 위험이 있다.

관계

인용

“그 특정한 용어를 쓸 때와 안 쓸 때의 응답의 질 차이는 꽤 나거든요. … 실제로 그 전문가가 쓸 만한 토큰을 그래도 유사하게나마 넣어줬을 때의 응답은 질이 달라져요. 근데 Transformer의 원리를 생각하면 되게 당연하긴 하거든요.” (최승준)

출처

클리핑 · youtube.com