선형 어텐션 시대의 도래

관찰

MiniMax M3, mamba2, google-griffin 등 최신 모델들이 공통적으로 선형 어텐션 또는 상태 공간 모델(SSM) 을 채택하고 있다. 이는 단순한 유행이 아니라, 트랜스포머 아키텍처의 근본적인 한계에 대한 업계의 집단적 인식 변화를 반영한다.

표면적 이유

• 긴 컨텍스트 처리 비용 문제
• 추론 속도 향상 필요성

진짜 이유: “메모리 벽(Memory Wall)의 도래”

GPU의 연산 능력은 빠르게 증가하지만, 메모리 대역폭은 그 속도를 따라잡지 못하고 있다. O(n²) 어텐션은 메모리 대역폭에 대한 수요가 기하급수적으로 증가하기 때문에, 결국 메모리 벽에 부딪히게 된다. 선형 어텐션은 이 메모리 벽을 우회하는 가장 현실적인 해결책이다.

통찰

2026년은 “트랜스포머의 제곱 복잡도에서 벗어나려는 노력이 주류가 된 해”로 기록될 것이다. M3는 이 거대한 패러다임 전환의 한 축을 담당하고 있으며, 앞으로 1-2년 안에 대부분의 LLM이 선형 어텐션 또는 SSM 기반으로 재설계될 가능성이 높다.