정의
AI가 핵심 workflow에 들어온 조직이 자기 경험으로부터 학습하기 위해 갖추는 내부 학습 시스템. 무엇을 풀 가치가 있는지 정하고, eval을 만들고, feedback을 남기고, 업무마다 model을 배분하고, 실제 outcome으로 다음 질문을 고르는 루프가 도는 조직을 Lab이라 부른다.
핵심 속성
- 해결 대상 3단 문제: ① AI를 써도 회사가 학습하지 않음 → ② 학습을 시작하면 토큰 비용 폭발 → ③ 비용을 잡아도 범용 model의 taste 한계에 도달
- 1단계 산출물: private eval, correction, trace, memory, skill — 직원의 수정과 판단을 회사 자산으로 고정
- 2단계 비용 통제 순서: prompt → context → caching → skill → memory → routing. 파인튜닝은 마지막
- 모델 라우팅 원칙: 단순 업무=작은 model, 기준이 명확한 반복 업무=specialized model, 새롭고 중요한 문제=frontier model
- 3단계 particular intelligence: 어떤 고객이 중요한가·어떤 위험을 감수하는가 같은 조직 고유 판단. 말로 완벽히 설명하기 어려움
- custom model 적용 조건: 반복량 + stable eval + 조직 고유의 feedback이 모두 있는 업무에 한정
- 복리 루프: taste → eval → data → model·workflow 개선 → taste
- Model 이식성: dataset·eval·environment·training recipe가 회사에 남아야 새 base model에서도 능력을 재훈련·재검증할 수 있다
- 역할 분담: frontier model은 지능을 공급하고, Internal Lab은 무엇을 학습하고 어디에 그 지능을 쓸지 결정한다
관계
- 20260716-agent-model-routing-cost-optimization — 연장 (라우팅을 자본 배분으로 재정의)
- 20260527-three-gulfs-of-evals — 상위 전제 (eval 없이는 Lab이 성립하지 않음)
- 20260716-agent-memory-compounding-efficiency — 하위 구성요소 (memory·skill 축적 메커니즘)
- 20260724-ai-domain-data-moat — 대조 (데이터 보유 vs 판별 기준 보유)
- 20260718-ground-truth-based-ai-judge — 연장 (correction을 ground truth로 전환)
- 20260806-bridgewater-aia-labs — 실증 사례
- 20260806-thinking-machines-tinker — 구현 도구
- 20260707-goobong-jeong — 개념 제안자
인용
모든 회사가 자기 foundation model을 가질 필요는 없습니다. 하지만 AI가 핵심 workflow에 들어오는 순간, 모든 회사는 자기만의 learning system을 가져야 합니다.
Taste가 eval이 되고, eval이 data를 만들고, data가 model과 workflow를 개선합니다. 이 compounding loop가 회사를 엑스트라 마일까지 데려갑니다.