정의
오토 리서치(Auto Research)는 목표가 명확하고 결과물에 대한 평가(evaluation)가 정량적으로 가능한(verifiable) 도메인에서, AI 에이전트가 스스로 탐색·실험·최적화를 반복하는 루프 방식의 방법론이다. 인간은 초기 목표 설정과 평가 기준(보상 신호)을 정의하는 역할에 집중하고, 이후의 해 공간 탐색은 모델에게 위임한다.
핵심 속성
- 명확한 목표와 평가 지표: Loss 값, 정확도, 통과율 등 scalar 형태의 보상 신호가 존재해야 한다.
- 자가 개선 루프: 에이전트가 생성한 코드/문서를 스스로 평가하고, 통과할 때까지 수정을 반복한다.
- 인간의 개입은 최소화: 초기 manifest(program.md 등)와 평가 기준 외에는 개입하지 않는다.
- 높은 효율성: Andrej Karpathy의 사례에서 20년 경력의 연구자가 놓친 최적화를 모델이 찾아냈다.
관계
- 20260606-verifiable-domain-automated-human-creativity — 검증 가능한 영역은 자동화되지만, 검증 불가능한 영역(농담, 예술)은 인간의 고유 영역으로 남는다 (garden 노트와 대조적 관점 제공)
- 20260606-humans-define-key-results — 인간의 핵심 역할은 평가 기준(Key Result)을 정의하는 능력으로 이동한다
인용
“검증 가능한 evaluation이 있으면 모델에게 맡기면 됩니다. 알아서 논문 찾아오고, 고쳐보고, 양의 피드백과 음의 피드백을 받아들이며 최적의 해를 찾아 나가는 것이 오토 리서치의 핵심입니다.” (노정석)
출처
- 📎 클리핑: 20260613-ep98-ko-transcript