MoE와 선형 어텐션의 결합이 의미하는 진짜 전략

표면적 관찰

MiniMax M3는 MoE에 선형 어텐션을 더했다. “효율적인 긴 컨텍스트 처리”라는 설명은 기술 블로그에서 흔히 볼 수 있는 레토릭이다.

숨겨진 의도: “비용의 재분배”

진짜 의도는 계산 예산(FLOPs)의 재분배에 있다. 선형 어텐션으로 절약된 어텐션 계산 비용을 더 많은 전문가(Expert)를 활성화하는 데 재투자하는 것이다. 기존 MoE는 Top-2 전문가만 활성화했지만, M3는 Top-4 또는 Top-8까지 활성화할 수 있는 여유를 확보했다. 결과적으로 “더 많은 소수의견”이 모델의 추론에 참여하게 되어, 더 풍부한 표현력과 덜 편향된 출력을 얻을 수 있다.

비약적인 연결: “분산 컴퓨팅의 프록시”

이는 흥미롭게도 분산 컴퓨팅에서의 부분 동기화(Partial Synchronization) 전략과 유사하다. 모든 노드(전문가)가 모든 작업에 참여하는 것은 비효율적이지만, 너무 적은 노드만 참여하면 정보 손실이 발생한다. M3는 “적절한 수의 전문가를 효율적으로 참여시키는 최적점”을 찾는 실험으로 볼 수 있다.

결론

MoE의 미래는 “전문가 수의 증가”가 아니라 “동시 활성화 전문가 수의 증가” 에 있을 수 있으며, M3는 그 첫 번째 신호다.