정의
트랜스포머 모델이 토큰을 auto-regressive하게 생성하는 과정은, 고정된 파라미터(지형) 위에서 KV cache(기억의 궁전)를 축적하며 hidden state(순례자)가 레이어를 통과해 다음 토큰을 샘플링하는 여정이다. 이 여정은 prefill 단계에서 병렬로 KV cache를 쌓고, 이후 각 생성 단계마다 한 토큰씩 residual stream을 따라 32개 이상의 레이어를 거치며 attention과 MoE의 soft lookup을 반복한다.
핵심 속성
- KV cache: 생성 과정에서 각 레이어의 Key-Value 텐서가 축적되는 구조물. 토큰이 생성될수록 자라나며, 이후 토큰이 과거 컨텍스트를 참조할 수 있게 한다. “기억의 궁전”에 비유됨.
- Hidden state (residual stream): 토큰이 embedding된 후 레이어를 통과하며 자기 자신에 델타(delta)를 더해가는 흐름. 같은 dimension을 유지하며 정보가 누적된다.
- Attention (soft lookup): Query가 Key와의 유사도를 계산해 Value의 가중합을 구하는 연산. “하나를 고르는 것이 아니라 비율로 섞는 일” (Andrej Karpathy의 soft lookup 개념).
- MoE (Mixture-of-Experts): 384개의 expert 중 게이트(라우터)가 top-k(예: 8개)를 선택하여 activation. FFN을 sparse하게 확장한 구조로, KV cache를 남기지 않고 연산만 수행.
- Induction circuit: 최소 2개 레이어가 필요. 첫 레이어가 패턴을 기록하고 다음 레이어가 그 패턴을 활용하여 복사/변형.
- RoPE (Rotary Position Embedding): 위치 정보를 회전 변환으로 인코딩하여 시퀀스 내 토큰의 상대적 위치를 표현.
- Residual connection: 깊은 네트워크에서 gradient 소멸을 막기 위해 도입되었으나, 원래 의미에 중력을 부여해 관련 정보가 달라붙게 하는 철학적 기능도 수행.
관계
- 20260606-10x-new-normal-and-value-shift — 연장: 생산성 폭발의 배경에서 이 생성 과정을 이해해야 프롬프팅과 harness 활용의 본질을 파악할 수 있음.
- 20260606-token-pilgrimage-meaning-landscape — 연장: 토큰의 순례 비유가 의미의 풍경을 만든다는 분석 노트의 기술적 기반.
- 20260606-quantity-to-quality-mvk-with-ai — 상위개념: MVK 구축 방법론의 기초가 되는 트랜스포머 이해.
인용
“KV cache가 자라나는 기억의 궁전이고 파라미터는 고정돼 있는 지형인데, 토큰은 그 둘 사이를 오가는 순례자다. 그 연쇄의 궤적이 우리가 의미라고 부르는 풍경을 만든다.”
“Attention도 soft lookup, FFN도 soft lookup, MoE도 soft lookup — 하나를 고르는 일이 아니라 비율로 섞는 일이다.”