정의
트랜스포머의 토큰 생성은 하나의 토큰이 autoregressive하게 hidden state로 변환되어 다수의 레이어를 순차적으로 통과한 후, 최종 softmax 분포에서 다음 토큰을 샘플링하는 과정이다. 이 여정은 KV cache라는 동적 구조물을 남기며, 파라미터는 고정된 지형으로 작용한다.
핵심 속성
- 의존성: 각 토큰은 이전 모든 토큰의 KV cache를 조회하며 생성됨 (autoregressive)
- 경로: 토큰 → embedding → residual stream → (layer norm → multi-head attention → KV cache 기록 → FFN/MoE → residual) × N 레이어 → unembedding → sampling
- KV cache: 생성 과정에서 누적되는 Key-Value 쌍. “기억의 궁전”으로 비유되며, 파라미터는 고정된 지형, KV cache는 그 위에 자라는 구조물
- Mixture-of-Experts (MoE): 일부 레이어에서 384개의 expert 중 top-k(예: 8)만 활성화. MoE 연산은 KV cache를 남기지 않음
- GQA (Group Query Attention): KV cache 효율을 위해 QKV의 head를 공유하는 변형
관계
- 20260606-10x-new-normal-and-curation-economy — 트랜스포머 생성 과정을 이해해야 AI slop과 품질의 차이를 식별할 수 있음 (연장)
- 20260606-token-journey-mvk-for-human-intelligence — 토큰의 순례 심상이 Minimum Viable Knowledge의 핵심 사례 (연장)
- 20260613-ep98-ko-transcript — 원본 클리핑 (상위 개념)
인용
“KV cache가 자라나는 기억의 궁전이고 파라미터는 고정돼 있는 지형… 토큰은 그 둘 사이를 오가는 순례자다. 그 연쇄의 궤적이 우리가 의미라고 부르는 풍경을 만든다.”