정의
로컬 AI 인퍼런스 환경을 수동으로 튜닝하는 대신, LLM 기반 에이전트(예: Codex Cli)에게 하드웨어 사양과 함께 작업을 전달하면 에이전트가 자동으로 추론 엔진, 의존성 관리(kernels, uv, venv), 배칭, KVCache, 플래그 등을 최적화하는 패턴이다.
핵심 속성
- 프롬프트 기반 오케스트레이션: 사용자는 자연어로 목표만 전달하고 에이전트가 구체적인 설정을 위임받는다.
- 하드웨어-인식: 에이전트가 CPU/GPU, 메모리 등을 분석하여 적합한 엔진(예: llama.cpp, MLX, ONNX)을 선택한다.
- 전체 스택 자동화: 파이썬 환경(uv+venv)부터 커널 선택, 배치 사이즈, KVCache 크기까지 한 번에 처리한다.
- 반복 가능한 레시피: 동일 프롬프트로 다른 하드웨어에서도 재현 가능한 설정을 얻을 수 있다.
관계
- 20260522-delegate-local-ai-setup-to-llm — 연장 (구체적인 사용 사례로서 이 개념을 실천한 예)
- 20260522-hardware-aware-inference-optimization — 하위개념 (하드웨어 최적화 측면을 심화)
인용
“Give Codex Cli the article below & tell it: Infer the right Inference Engine from your hardware + article below. Use uv+venv. Pick the right kernels. Tune flags, batching, KVCache, etc. Optimize for your hardware & chosen model.”