이진원 CTO의 설명을 들으며, 우리가 흔히 ‘GPT가 더 똑똑해서 이겼다’고 생각하는 것이 인과를 거꾸로 읽은 것임을 깨달았다. 양방향 어텐션을 쓰는 인코더(BERT)는 같은 데이터에서 본질적으로 더 좋은 표현을 만든다. 앞뒤를 다 보고 빈칸을 채우니까. 정적 정확도만 보면 인코더가 유리하다. 그런데도 LLM은 전부 디코더 구조가 됐다.
근거
차이를 가른 것은 성능이 아니라 재연산 비용이다. 인코더는 단어가 하나 추가되면 맨 앞부터 전부 다시 계산해야 한다. 디코더는 자기보다 앞 토큰만 보므로 이미 계산한 토큰을 다시 건드릴 필요가 없고, 그 결과가 KV 캐시로 누적된다. 새 토큰 하나의 연산만 추가하면 된다. 생성을 반복할수록 이 확장성 격차는 기하급수로 벌어진다.
GPT 같은 디코더는 (…) 앞에 나왔던 토큰에 대한 연산을 다시 할 필요가 없고, 그게 key-value 형태로 (…) 확장성에 있어서 비교가 안 되는 그런 구조를 가지고 있었던 거죠.
즉 아키텍처 경쟁의 승자는 ‘한 번의 정답 품질’이 아니라 ‘반복했을 때의 한계 비용’으로 결정됐다. 좋은 것이 아니라 싸게 반복되는 것이 이긴다.
연결된 생각
- 20260605-transformer-token-journey-kv-cache — 이 승리를 만든 KV 캐시 메커니즘의 상세
- 20260622-inference-specialized-ai-chip — 디코더의 재연산 회피 특성이 추론 전용 반도체 설계의 전제가 된다
- 20260607-bitter-lesson-scaling — 확장 가능한 단순 구조가 결국 이긴다는 같은 패턴
출처
- 📎 클리핑: 20260622-ep90-ko-transcript