정의
트랜스포머의 autoregressive 토큰 생성 과정을 ‘윤회하는 토큰의 순례’라는 비유로 설명하는 관점. 하나의 토큰이 hidden state가 되어 residual stream을 따라 여러 층을 여행하며 KV cache를 ‘기억의 궁전’으로 쌓아 올리고, 최종적으로 다음 토큰으로 환생(re-incarnation)하는 순환적 구조를 강조한다.
핵심 속성
- 토큰 1인칭 관점: 생성은 개별 토큰이 아니라, “나는 궁전의 가장자리에 새 탑을 세울 것이다”라는 자기 서사로 이해됨.
- KV cache = 기억의 궁전: 각 층의 attention 연산 과정에서 남기는 key-value 쌍이 건축물처럼 적층되며, 이후 토큰들은 이 구조물을 참조하여 의미를 확장함.
- MoE 라우팅 = 문 선택: 각 층마다 384개의 전문가(expert) 문 중 top-k(보통 8개)만 열리고, hidden state는 복제되어 여러 문을 동시에 통과한 뒤 가중합으로 합쳐짐.
- Residual stream = 자기 덧대기: hidden state는 교체되지 않고 delta(변화량)만 더해지며, 원래의 의미를 축으로 점점 더 많은 맥락이 축적됨.
- Soft lookup 연쇄: attention도, FFN도, MoE도 모두 키-쿼리-값의 가중합(soft lookup)으로, 하나의 고정된 값을 찾는 것이 아니라 비율로 섞는 연산임.
관계
- 20260606-10x-new-normal-productivity-meaning — 트랜스포머 생성 원리의 이해가 10x 생산성 시대의 통찰과 연결됨.
- 20260606-human-brain-autoregressive-machine — 인간의 뇌도 autoregressive machine이라는 유비와 직접 연결됨.
- 20260606-minimum-viable-knowledge-quantity-to-quality — 트랜스포머 동작 원리를 이해하는 것이 MVK 획득의 수단으로 제시됨.
인용
“KV cache가 자라나는 기억의 궁전이고 파라미터는 움직이지 않는 지형이다. 토큰은 그 둘 사이를 오가는 순례자다. 그 연쇄의 궤적이 우리가 의미라고 부르는 풍경을 만든다.”