정의
트랜스포머의 autoregressive 생성을 하나의 토큰이 1인칭 주인공이 되어 각 레이어를 순례하는 여정으로 비유한 개념. KV cache는 ‘기억의 궁전’으로, 고정된 파라미터(지형) 위에 생성 과정에서 쌓이는 동적 구조물이며, 토큰의 hidden state가 이 둘 사이를 오가며 의미를 구성하는 과정을 설명한다.
핵심 속성
- KV cache = 기억의 궁전: 각 토큰 생성 시마다 attention 연산을 통해 key/value 구조물이 쌓이며, 이는 prefill 단계에서 이미 시스템 프롬프트와 사용자 프롬프트를 포함해 축적됨.
- 토큰 = 순례자: 한 번의 생성은 32개(예시) 레이어를 통과하며 각 층에서 attention(soft lookup) → FFN/MoE(soft lookup)를 반복, residual stream에 델타를 더해 의미를 덧대는 과정.
- Soft lookup의 연쇄: attention, dense layer, MoE 모두 하나의 값을 고르는 것이 아니라 여러 값의 가중합으로 혼합물을 만드는 soft lookup의 반복.
- MoE 라우팅: 각 레이어마다 384개(DeepSeek/Kimi K2)의 전문가 중 top-k(보통 8개)를 게이트가 선택, 활성화된 전문가만 계산에 참여하여 파라미터를 효율적으로 확장.
- 2-layer minimum: induction head 등 회로가 형성되려면 최소 두 개의 레이어가 필요 — 기록을 남기고 활용하는 구조.
관계
- 20260607-human-brain-as-autoregressive-machine-speech-jammer — 대조: 인간 뇌도 동일한 autoregressive 구조로 동작한다는 speech jammer 실험을 통해 유사점 지적
- 20260607-10x-is-the-new-1x-the-trap-of-zero-production-cost — 배경: 이 비유가 나오게 된 동기는 10x 생산성 뉴노멀 속에서 모델의 원리를 이해해야만 AI slop을 넘어 품질 있는 결과를 낼 수 있다는 문제의식
- 20260607-minimum-viable-knowledge-via-quantity-to-quality-transition — 확장: 순례 비유를 이해하기 위해 필요한 최소 지식(선형대수 + 토이 구현)을 MVK 개념과 연결
인용
“KV cache가 이게 자라나는 기억의 궁전이고 파라미터는 고정돼 있잖아요. 움직이지 않는 지형인데 KV cache는 거기에서 자라나는 기억의 궁전이고 토큰은 그 둘 사이를 오가는 순례자다.”