정의
클라우드 서버를 거치지 않고 개인용 기기의 하드웨어 자원만을 활용하여 대규모 언어 모델(LLM)을 구동하고, 개인 지식 베이스(PKM)와 결합하여 추론 및 생성 작업을 수행하는 보안 중심의 작업 체계이다.
핵심 속성
- 프라이버시(Privacy): 데이터가 외부 서버로 전송되지 않으며, 모델 학습에 사용될 위험이 없음.
- 로컬 RAG(Retrieval-Augmented Generation): 개인 노트를 벡터화(Embedding)하여 로컬 모델이 실시간 맥락으로 참조하게 함.
- API 호환성: LM Studio 등의 도구를 통해 OpenAI API 형식을 로컬에서 재현하여 기존 플러그인과 연동.
- 하드웨어 의존성: RAM 용량과 GPU 성능에 따라 구동 가능한 모델 크기(7B, 13B, 34B 등)가 결정됨.
관계
- 20260527-thinking-deserves-on-device-privacy — 상위개념 (철학적 근거)
- 20260527-local-rag-transforms-pkm-into-reasoning-engine — 하위개념 (기술적 구현)
- 20260527-lm-studio — 도구 (로컬 서버 구동)
- 20260527-obsidian — 도구 (인터페이스 및 지식 베이스)
인용
“The cloud is powerful. But your most important thinking deserves to stay on your machine.”