같은 모델이라도 프롬프트에 어떤 토큰을 넣느냐에 따라 응답 품질이 극명하게 갈린다. 특히 내가 모르는 도메인을 다룰 때, 전문가의 용어나 arXiv 초록 같은 ‘적확한 토큰’을 프롬프트 앞에 배치하는 것만으로도 모델의 능력이 비약적으로 향상된다. 이것은 단순한 팁이 아니라, Transformer가 입력 토큰을 통해 내부 표현 공간을 어떻게 활성화하는지에 대한 구조적 이해에 기반한 원리다.
최승준이 이 에피소드에서 반복적으로 강조한 점은 “모델이 이미 알고 있는 것”을 어떻게 꺼내게 하느냐는 것이다. 모델은 사전 학습을 통해 방대한 도메인 지식을 갖고 있지만, 적절한 토큰이 입력되지 않으면 해당 영역의 ‘지도’가 어두운 상태로 남아 있다. 전문가 용어, 인물 이름, 논문 초록 등은 그 지도를 밝혀주는 불쏘시개 역할을 한다.
근거
“그 특정한 용어를 쓸 때와 안 쓸 때의 응답의 질 차이는 꽤 나거든요. … 실제로 존재하는 토큰들을 어떻게든 끌어와야 한다는 거죠.”
이는 내가 ‘무지’를 인정하고 모델의 연상 능력을 활용하는 전략이다. 예를 들어, 나는 양자 컴퓨팅을 전혀 몰라도 arXiv에서 무작위 논문 10개의 초록만 프롬프트에 붙여넣으면, 모델은 그 용어들을 기반으로 흥미로운 연결고리를 제시할 수 있다. 이것이 바로 토큰 프라이밍의 힘이다.
연결된 생각
- 20260606-모델을-이해해야-모델을-잘-쓸-수-있다 — 왜 모델의 작동 원리를 알아야 이런 전략이 통하는지
- token-priming — 개념 노트 (wiki)
- FOMO-in-AI-2025 — Karpathy의 FOMO 사례와 연결
출처
- 📎 클리핑: 20260613-ep82-ko-transcript