토큰의 순례: 트랜스포머의 Autoregressive 생성 과정

정의

트랜스포머의 텍스트 생성은 하나의 토큰이 hidden state로 변환되어 여러 레이어를 순례하며 KV cache라는 ‘기억의 궁전’을 쌓아가고, 최종적으로 다음 토큰을 샘플링하여 자기 자신을 대체하는 autoregressive(자기회귀) 과정의 연속이다.

Autoregressive Loop: 한 토큰의 생성은 하나의 ‘삶’이며, 출력 토큰이 다음 입력이 되어 순환이 반복된다(윤회).
KV Cache (기억의 궁전): Prefill 단계에서 시스템 프롬프트와 유저 프롬프트가 처리되어 Key-Value 구조물이 쌓인다. 이후 생성되는 모든 토큰은 이 구조물을 참조하여 맥락을 유지한다.
Attention (Soft Lookup): Query가 Key와의 유사도를 계산해 Value의 가중합을 만든다. 이는 정확히 하나를 찾는(hard lookup) 것이 아니라 여러 정보를 비율로 섞는(soft lookup) 과정이다.
Residual Stream: hidden state x는 레이어를 통과할 때마다 자신에게 ‘델타’(변화량)를 더해간다. 이는 원래의 의미(중력)를 유지하면서 관련 정보가 달라붙게 만든다.
Mixture of Experts (MoE): 여러 expert(예: 384개) 중 라우터가 현재 상태에 맞는 top-k(예: 8개)를 선택한다. 선택된 expert는 FFN(Feed-Forward Network) 역할을 하며 지식을 취합하지만, 이 연산 자체는 KV cache에 흔적을 남기지 않는다.
Position Encoding (RoPE): ‘회전하는 느낌’으로 토큰의 위치 정보를 임베딩에 감아서 시퀀스 내 위치를 표시한다.

20260607-10x-new-1x-competition-shift — 연장: 기술 본질의 이해가 생산성 패러독스를 해석하는 기반이 됨.
20260607-prompting-as-human-factors-engineering — 연장: 프롬프트 엔지니어링이 ‘토큰 순례’의 결과물을 설계하는 행위임을 설명.
LLM-Architecture — 상위개념: 일반적인 LLM 아키텍처의 구체적 구현체.
attention-mechanism — 하위개념: Attention의 구체적 수학적 메커니즘.

“KV cache가 이게 자라나는 기억의 궁전이고 파라미터는 고정돼 있잖아요. 움직이지 않는 지형인데 KV cache는 거기에서 자라나는 기억의 궁전이고 토큰은 그 둘 사이를 오가는 순례자다.”