정의
트랜스포머 디코더가 autoregressive하게 토큰을 생성할 때, 각 토큰의 hidden state가 residual stream을 따라 여러 층을 통과하며 KV cache를 축적하고, attention과 feed-forward network에서 반복되는 soft lookup을 통해 맥락과 지식을 결합하는 과정의 비유적 모델.
핵심 속성
- Attention = soft lookup: key로 질문(query)을 던져 value(v)들의 가중합을 얻는 연산. 하나를 딱 고르는 것이 아니라 비율로 섞는 혼합물이다. (Andrej Karpathy)
- Residual stream: hidden state x는 교체되지 않고 자신에게 delta(변화량)를 계속 더한다. 시작의 의미를 유지한 채 관련 정보가 달라붙는 중력 같은 역할.
- KV cache = growing memory palace: 생성이 진행됨에 따라 모든 과거 토큰의 key-value 쌍이 축적된다. 층마다 32층의 구조물이 세워지며, 이후 토큰은 이 건축물 전체를 참조한다.
- MoE = sparse soft lookup: 384개의 문(experts) 중 gate router가 현재 x와 가장 연관된 8개(top-k)를 골라 동시에 지식을 취합한 후 다시 합친다. KV cache는 남기지 않고, 파라미터만 고정.
- Induction circuit: 최소 2개 이상의 레이어가 있어야 정보를 복사하고 재활용하는 회로가 형성된다. (기록 → 활용)
관계
- 20260607-ai-productivity-paradox-10x-new-1x — 연장: 트랜스포머 원리를 이해해야 AI 생산성 패러독스를 제대로 해석할 수 있다.
- 20260607-human-brain-as-autoregressive-machine-speech-jammer — 대조: 인간 뇌도 autoregressive machine이라는 증거(speech jammer 실험)와 트랜스포머의 자기회귀 생성이 유사함을 보여준다.
- 20260607-mvk-quantity-to-quality-token-grinding — 연장: ‘토큰 갈아넣기’로 양질전환을 이루는 방법론이 이 원리 위에서 작동한다.
인용
“KV cache가 자라나는 기억의 궁전이고 파라미터는 움직이지 않는 지형, 토큰은 그 둘 사이를 오가는 순례자다. 그 연쇄의 궤적이 우리가 의미라고 부르는 풍경을 만든다.” — 최승준