기밀 고객 브리프를 Claude에 붙여넣고 3초 만에 완성된 결과를 받았다. 그런데 그 결과를 보며 앉아서 생각했다 — 저 브리프가 방금 어디로 갔지?

이 질문이 로컬 AI로의 전환을 시작하게 만들었다.

클라우드 AI 회사를 신뢰하느냐의 문제가 아니다. 중요한 사고가 내 기기를 벗어나는 것이 적절한가의 문제다. 연구, 컨설팅, 법무, 재무, 혹은 깊이 개인적인 아이디어 작업 — 이런 맥락에서 클라우드로의 데이터 전송은 다른 의미를 갖는다.

흥미로운 점은 이 선택이 역량의 희생을 요구하지 않는다는 것이다. Llama 3, Mistral, DeepSeek 같은 로컬 모델들이 상당히 성숙해졌다. LM Studio는 OpenAI API와 동일한 포맷의 로컬 서버를 실행하기 때문에, 기존의 Obsidian 플러그인들이 API URL 하나만 바꾸면 즉시 로컬 모델에 연결된다.

복잡한 추론이나 창작 작업에서 클라우드 모델이 아직 앞선다는 건 솔직하게 인정해야 한다. 그래서 이건 클라우드를 버리는 게 아니라, 어떤 사고를 어디에 두느냐에 대한 설계다. 일상적 작업은 로컬로. 민감한 맥락은 절대 클라우드 밖으로 나가지 않도록. 복잡한 추론이 필요할 때는 클라우드, 단 민감한 데이터는 분리해서.

가장 중요한 사고가 어디 있어야 하는지 한 번도 생각해본 적 없다면, 지금이 그 질문을 할 때다.

근거

“For anyone doing serious knowledge work — research, writing, consulting, legal, medical, financial, or just deeply personal thinking — the privacy tradeoff starts to feel uncomfortable.”

“The cloud is powerful. But your most important thinking deserves to stay on your machine.”

연결된 생각

출처

클리핑 · x.com