RTX Spark의 128GB 통합 메모리는 단순히 ‘많은 용량’이 아니다. CPU와 GPU가 물리적으로 같은 메모리를 공유한다는 점이 핵심이다. 기존 노트북은 CPU 메모리와 GPU VRAM이 분리되어 있어, 큰 모델을 실행하려면 데이터를 반복적으로 복사해야 했다. 이 복사 과정이 지연과 전력 낭비를 유발했다.

통합 메모리에서는 한 번 올린 모델을 CPU와 GPU가 동시에 접근할 수 있다. 1,200억 개 파라미터 모델을 100만 토큰 문맥으로 로컬에서 실행할 수 있다는 엔비디아의 발표는, 속도보다 ‘담을 수 있는 크기’의 혁신에 가깝다. 이는 클라우드로 가던 대규모 추론 작업을 개인 책상으로 가져오는 결정적 조건이다.

다만 메모리 대역폭이 데이터센터용 HBM에 비해 낮다는 점은 분명한 한계다. RTX Spark의 진짜 자랑은 ‘빠름’이 아니라 ‘충분히 큰 모델을 내 컴퓨터 안에 둘 수 있다’는 점이다. 이 사고의 전환이 앞으로 AI 로컬 실행의 새로운 기준이 될 것이다.

근거

“RTX Spark의 진짜 자랑은 ‘데이터센터처럼 빠르다’가 아니라, ‘보통 노트북에는 안 들어가는 큰 모델을 통째로 넣을 수 있다’이다. 속도의 자랑이 아니라, 그릇 크기의 자랑인 셈이다.”

“비유하자면 이렇다. 작은 책상에서는 큰 지도를 다 펼치지 못해 접었다 폈다 하느라 시간을 버린다. 큰 책상이 있으면 지도를 통째로 펼쳐 놓고 한눈에 본다.”

연결된 생각

출처

클리핑 · x.com