로컬 AI를 돌리는 일은 늘 진입장벽이 높았다. 어떤 인퍼런스 엔진을 쓸지(vLLM, llama.cpp, exllama, TGI), 어떤 커널과 플래그가 내 하드웨어에 맞는지, KV 캐시와 배치 사이즈를 어떻게 튜닝할지 — 모든 것이 사용자의 사전 지식을 요구했다. 그러나 이제 그 모든 결정을 Codex CLI 같은 코딩 에이전트에게 위임할 수 있다. 사용자가 하는 일은 “이 글과 내 하드웨어를 보고 알아서 골라라”라고 말하는 것뿐이다.
근거
Ahmad Osman의 단순한 시연:
“Give Codex Cli the article below & tell it: Infer the right Inference Engine from your hardware + article below. Use uv+venv. Pick the right kernels. Tune flags, batching, KVCache, etc. Optimize for your hardware & chosen model.”
이 흐름은 20260526-workflow-orchestration-is-the-real-ai-era-skill의 직접적인 사례다. 사용자가 인퍼런스 엔지니어링을 익힐 필요 없이, 그 지식을 가진 에이전트에게 컨텍스트(아티클 + 하드웨어 정보)를 던지면 된다. AI 시대의 학습 곡선은 “도구를 익히기”에서 “위임 인터페이스를 다듬기”로 이동한다.
연결된 생각
- 20260526-workflow-orchestration-is-the-real-ai-era-skill — 위임 인터페이스 설계가 새 스킬이다
- 20260515-unified-memory-makes-apple-silicon-accidental-llm-champion — 하드웨어 측면의 로컬 AI 트렌드
- 20260512-ai-era-rewards-judgment-not-execution-speed — 실행이 아니라 판단을 보상하는 시대