정의
트랜스포머 모델의 추론 과정을 ‘토큰의 1인칭 순례’로 비유한 개념적 프레임워크. 토큰이 hidden state가 되어 KV cache(기억의 궁전) 사이를 오가며 attention(soft lookup)과 MoE(전문가 라우팅)를 통해 자신을 변형시키고 다음 토큰으로 윤회한다는 관점을 제공한다. 이는 아키텍처의 동작 원리를 직관적으로 이해하고 AI의 창발적 행동을 음미하는 데 도움을 준다.
핵심 속성
- 토큰의 1인칭 관점: 각 토큰 생성은 하나의 ‘삶’이며, auto-regressive하게 다음 토큰으로 윤회한다. 토큰은 단순한 기호가 아니라 여정을 겪는 주체로 상정된다.
- KV cache = 기억의 궁전: prefill 단계에서 쌓인 Key-Value 구조물이 생성 과정 내내 고정된 지형(파라미터) 위에 자라는 동적 기억. 생성이 진행될수록 건축물이 증축된다.
- Attention = soft lookup: query로 key를 조회하여 value의 가중합을 얻는다. 하나의 값을 정확히 고르는 대신 여러 값을 비율로 섞는 ‘부드러운 조회’ 방식이다.
- MoE = expert 라우팅: 게이트/라우터가 현재 hidden state에 가장 관련 높은 top-k 전문가를 선택, 각 전문가의 지식을 가중합으로 취합 후 residual stream에 더한다.
- Residual stream = 누적 경험: hidden state x가 매 layer마다 델타(attention + FFN 출력)를 더하며 맥락을 축적한다. 초기 토큰의 의미가 끝까지 유지되는 ‘중력’ 역할을 한다.
- Layer별 역할 분화: 저층은 저수준 임베딩 공간을, 고층은 추상적 정보를 처리하며 이는 학습 과정에서 창발한다. 최소 2개 층이 있어야 induction circuit(정보 복사-활용 회로)이 형성된다.
관계
- 20260606-10x-new-normal — 생산성 폭발과 인간 역할 변화에 대한 통찰이 이 비유의 실용적 함의를 뒷받침함 (차별화의 추상화)
- 20260606-ai-as-learning-partner — 최소 필요 지식(MVK) 획득 방법론이 이 아키텍처 이해를 위한 학습 경로를 제시함 (양질 전환)
인용
“KV cache가 이게 자라나는 기억의 궁전이고 파라미터는 고정돼 있잖아요. 움직이지 않는 지형인데 KV cache는 거기에서 자라나는 기억의 궁전이고 토큰은 그 둘 사이를 오가는 순례자다.” (최승준)
출처
- 📎 클리핑: 20260613-ep98-ko-transcript