모델은 이미 거의 모든 것을 알고 있다. 문제는 그 방대한 지식 중 어느 영역으로 모델의 주의를 옮기느냐다. 전문가 persona를 흉내 내는 것과, 실제 전문가가 쓸 법한 적확한 토큰을 넣어주는 것은 응답의 질이 확연히 다르다. 게임의 미니맵 비유가 적절하다 — 플레이어가 특정 지역 근방까지 가줘야 그 일대의 지도가 밝아진다.
근거
그 특정한 용어를 쓸 때와 안 쓸 때의 응답의 질 차이는 꽤 나거든요. (…) 실제로 그 전문가가 쓸 만한 토큰을 그래도 유사하게나마 넣어줬을 때의 응답은 질이 달라져요. 근데 Transformer의 원리를 생각하면 되게 당연하긴 하거든요.
이는 pareidolia(구름에서 형상을 보는 연상 능력)와 같다. 모델은 강력한 연상 능력을 가졌지만, 적절한 토큰이 들어가야 그 능력이 발휘된다. 여기서 불편한 질문이 따라온다 — 그렇다면 결국 도메인 전문가가 유리한가? 적확한 토큰을 아는 사람이 더 잘 쓰는가? 이것이 프롬프팅이 단순 기술이 아니라 도메인 깊이의 함수임을 시사한다.
연결된 생각
- 20260603-arxiv-abstract-fills-tokens-for-unfamiliar-domain — 전문가가 아닐 때의 우회로
- 20260522-skill-is-probabilistic-lint-is-deterministic — 스킬이 토큰을 패키징하는 방식