정의
학습이 아닌 추론(inference)만을 위해 설계된 AI 가속기. 범용 GPU가 학습·추론을 모두 처리하느라 HBM 같은 고가 메모리에 의존하는 것과 달리, 추론 워크로드의 특성에 맞춰 저전력·저가 메모리를 사용해 서비스 단가를 낮추는 것을 목표로 한다.
핵심 속성
- 메모리 전략: HBM 대신 LPDDR(저전력 메모리) 채택 — 비싼 공정·메모리를 배제
- 목표 비용: HyperAccel 기준 서버 공급가를 약 1/10 수준으로, 월 3만 원대 서비스를 5천 원 이하로
- 설계 동기: 추론은 자기 앞 토큰만 연산하는 디코더 구조라 KV 캐시로 재연산이 불필요 → 메모리 대역폭보다 용량·전력 효율이 더 중요
- 대표 주체: HyperAccel (이진원 CTO)
관계
- 20260622-hyperaccel — 이 개념을 사업화한 조직
- 20260605-transformer-token-journey-kv-cache — 추론 효율의 기반이 되는 디코더 KV 캐시 메커니즘
- 20260606-ai-cost-barrier-and-hardware-innovation — 하드웨어 비용 혁신이 AI 저변 확대의 관문이라는 상위 맥락
인용
HBM을 쓰지 않고 LPDDR이라고 하는 저전력 메모리를 사용해서 10분의 1 가격에 저희가 서버를 공급하고 (…) 월에 한 3만 원 정도 내야 되는 걸 5천 원 이하로 줄여보자.
출처
- 📎 클리핑: 20260622-ep90-ko-transcript