정의
오토 리서치(Auto Research)는 명확한 평가 지표(verifiable evaluation)가 존재하는 문제에 대해 AI 에이전트가 자율적으로 가설을 세우고 실험하며 최적해를 탐색하는 방법론이다. 목표가 측정 가능하고 결과의 성공 여부를 객관적으로 판단할 수 있을 때, LLM과 보상 신호를 활용한 강화학습 루프를 통해 사람의 개입 없이도 지속적인 성능 향상이 가능하다.
핵심 속성
- 검증 가능성(Verifiability): 목표에 대한 성공 기준이 명확하고 측정 가능해야 함 (예: validation loss, 정확도, 수학 증명의 타당성). 이 조건이 없으면 에이전트는 drift(표류)하여 무의미한 방향으로 최적화됨.
- 자기 개선 루프(Self-improving loop): 에이전트가 생성한 결과를 평가하고, 그 평가가 다시 프롬프트와 코드에 반영되어 지속적 최적화를 수행하는 순환 구조. Andrej Karpathy의 구현에서는 program.md(manifest), train.py, prepare.py로 구성됨.
- 최소 하네스(Minimal harness): program.md (manifest), train.py, prepare.py 등 최소한의 파일 구조로 시작하여 복잡한 인프라 없이도 작동.
- 표류(Drift): 검증 불가능한 영역(농담, 미적 판단 등)에서는 목표에서 이탈하여 무의미하거나 저품질의 결과를 생성하는 현상.
관계
- 20260606-verifiability-determines-ai-capability — 검증 가능성 조건이 AI 자동화의 범위를 결정한다는 인사이트
- 20260606-humans-shift-to-meta-engineering — 인간의 역할이 평가 지표 설계로 이동하는 메타-엔지니어링 관점
인용
“검증 가능한 영역에서는 너무 잘 작동하지만 검증하기 어려운 것에서는 다 drift한다, 표류한다는 표현을 썼습니다.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript