1년 전까지 로컬 AI는 hobbyist 영역이었다. 모델이 약하고, 설정이 복잡하고, 결과가 실망스러웠다. 그 인식이 지금도 남아 있어서 많은 사람들이 “로컬 = 느리고 부족한 것”이라고 생각한다.
그 전제가 바뀌었다.
LM Studio는 무료 앱 설치 수준으로 로컬 모델 실행을 만들었다. Llama 3 8B는 일반 노트 작업과 글쓰기에서 충분히 실용적이다. Obsidian 플러그인들(Smart Connections, BMO, Copilot)은 API URL 하나만 바꾸면 클라우드 모델 대신 로컬 모델에 연결된다. M1 MacBook은 이미 7B–13B 모델을 원활하게 실행한다.
중요한 것은 솔직한 평가다. 복잡한 추론과 고품질 창작에서는 Claude나 GPT-5 같은 클라우드 모델이 여전히 앞선다. 로컬 AI가 클라우드 AI를 완전히 대체한다고 말하는 건 과장이다.
하지만 대체가 목적이 아닐 수 있다. 민감한 클라이언트 작업, 재무 노트, 개인 연구 — 이런 맥락에서는 “조금 덜 강력하지만 내 기기에서만”이 “더 강력하지만 서버로 전송됨”보다 나은 선택이다.
설계의 문제다. 어떤 사고가 어디에 있어야 하는지 의식적으로 선택하는 것. 로컬 AI는 클라우드의 대안이 아니라 클라우드와 함께 사용하는 프라이버시 레이어다.
근거
“A year ago, running AI locally was a hobbyist project. The models were weak, the setup was painful, and the results were disappointing. That has changed.”
“You do not have to choose between powerful AI and private AI anymore.”
연결된 생각
- 20260527-obsidian-lm-studio-local-ai-stack — 이 선택을 구현하는 3도구 스택
- 20260527-your-best-thinking-should-not-live-on-someone-elses-server — 프라이버시 선택의 동기
- 20260526-elite-ai-operators-build-environments-not-prompts — 도구 선택보다 환경 설계가 중요한 이유