지속학습을 개인화의 민주화로 읽기 쉽다. 내 AI가 나에게 맞춰 계속 좋아진다니까. 그런데 추론 경제학을 대입하면 결론이 뒤집힌다. 개인화된 가중치는 그 가중치를 향해 동시에 수천 개의 시퀀스를 디코딩할 수 있는 조직에서만 감당 가능한 사치다.
근거
주어진 가중치 집합은 수천 개의 시퀀스가 동시에 디코딩될 때에만 효율적으로 서빙된다. (…) 배치 크기 1로 자신을 서빙하는 개인 사용자는 100배 이상의 연산 효율 손실을 겪을 수 있다.
DeepSeek V3급 희소 모델의 최적 추론 배치가 2,400 시퀀스를 넘는다는 계산이 근거다. 가중치를 공유하는 사용자가 많을수록 한 벌의 가중치를 읽어오는 메모리 대역폭 비용이 분산된다. 반대로 가중치가 나 하나를 위해 갈라져 나오는 순간, 그 비용을 분담할 사람이 없다.
여기서 역설이 생긴다. 개인화의 가치는 개인에게 크지만, 개인화의 비용 구조는 개인에게 최악이다. 수천 명의 직원과 에이전트가 하루 종일 트래픽을 만드는 대기업은 자기 회사 전용 가중치 포크를 효율적으로 굴릴 수 있다. 1인 사용자는 같은 기능을 두 자릿수 배의 단가로 사거나, 남들과 공유하는 범용 가중치로 돌아가야 한다.
기업별 정보가 LoRA 같은 저랭크 어댑터에 담기면 이 저주는 완화된다. 그래서 “전체 가중치 갱신이 필요한가, 어댑터로 충분한가”는 기술 디테일이 아니라 AI 개인화가 누구의 것이 되느냐를 가르는 분기점이다. 지금 개인 사용자로서 내가 응원해야 할 쪽은 분명하다.
연결된 생각
- 20260607-inference-batching-economics — 배칭이 단가를 결정하는 메커니즘
- 20260603-llm-inference-economics-batching — 배치 크기와 메모리 대역폭의 관계
- 20260809-continuous-oversight-under-continual-learning — 같은 예측 묶음의 구조화된 정리
- 20260809-moat-migration-from-context-files-to-weights — 대기업 편향이 락인과 겹쳐 증폭되는 지점