트랜스포머를 단순한 도구가 아닌, ‘토큰의 순례자’로 비유하는 것은 프롬프트 엔지니어링에 대한 통찰을 제공한다. 모델의 모든 연산은 ‘soft lookup(소프트 조회)‘의 반복이다. FFN, Attention, MoE 모두 결국 Query가 Key를 참조해 Value를 가중합하는 과정이다. 이는 프롬프트가 단순한 명령어가 아니라, 모델이 ‘기억의 궁전(KV Cache)‘에서 꺼내올 정보를 설계하는 ‘도면’임을 의미한다. 좋은 프롬프트는 모델이 높은 에너지 레벨의 조합을 만들 수 있도록 정확한 Key(키)를 제공하는 행위다.
근거
화자는 “이게 다 soft lookup으로 볼 수 있구나… 프롬프팅을 할 때 조합이 일어나게끔”이라고 설명한다. 또한 인간의 뇌도 Speech Jammer 실험을 통해 증명되듯이 autoregressive machine임을 지적한다. 이는 프롬프팅이 단순한 기술이 아니라 ‘인간의 인지 구조와 AI의 작동 원리를 연결하는 인간공학(Human Factors Engineering)‘의 영역임을 시사한다. 따라서 좋은 프롬프트를 작성하는 능력은 AI의 ‘정신 모델’을 이해하는 데서 출발한다.
연결된 생각
- 20260607-token-pilgrimage-transformer — ‘토큰 순례’ 비유에 대한 구체적 기술적 배경.
- 20260607-mvk-via-token-grinding — 프롬프트라는 ‘열쇠’를 만들기 위해 필요한 MVK.
- 20260607-10x-new-1x-competition-shift — 프롬프트 능력이 새로운 경쟁력의 핵심임을 시사.
출처
- 📎 클리핑: 20260613-ep98-ko-transcript