정의
Autoresearch는 Andrej Karpathy가 구체화한 AI 연구 자동화 패러다임으로, 검증 가능한 평가 지표(verifiable reward)를 보상 신호로 삼아 연구자가 개입하지 않고도 실험 설계 → 수행 → 분석 → 재가설의 Ralph loop를 무한 반복함으로써 목표 성능에 도달하게 하는 방법론이다.
핵심 속성
- 출발 조건: 명확하고 깔끔한 컨텍스트로 시작하는 계획(plan)이 필요하다.
- 종료 조건: 명확한 evaluation metric이 정의되어 있어야 한다. “되면 성공, 안 되면 계속”의 이진 판정이 가능해야 한다.
- 루프 구조: Ralph loop — 가설 수립, 실험, 결과 분석, 다시 가설 수립의 순환을 멈추지 않는다. “never stop”이 핵심 지시어.
- 범위 제한: 평가가 빠르고 저렴한 도메인(예: 작은 모델 튜닝, 코드 최적화, TinyStories)에서 특히 효과적이다. 반도체 설계처럼 검증에 오랜 시간이 걸리는 영역에는 적용이 어렵다.
- 도구 의존성: 단순한 코드( prepare.py, train.py, program.md)로 구성되며, 외부 개입 없이 스스로 가설을 생성하고 실험한다.
관계
- 20260606-alphago-mcts-chain-of-thought — AlphaGo의 Monte Carlo Tree Search(MCTS)가 추론 시점 연산량을 늘린 것처럼, Autoresearch도 실험 수를 늘려 보상 신호를 최대화한다. Noam Brown은 “오늘날의 Chain-of-Thought가 MCTS의 역할을 한다”고 지적했다.
- 20260603-verifiable-reward — RLVR(Reinforcement Learning from Verifiable Rewards)과 같은 맥락에서, 검증 가능한 신호를 보상으로 사용하는 점이 동일하다. 단, RLVR은 학습 과정에서, Autoresearch는 연구 과정에서 적용된다.
- 20260607-bitter-lesson-scaling — Bitter Lesson의 교훈(인간의 inductive bias를 최소화하고 스케일을 키워라)을 실험 수의 스케일로 실현한 사례이다. Transformer가 CNN보다 더 일반적인 구조였기에 스케일에서 승리한 것과 유사하다.
- 20260606-man-computer-symbiosis — Licklider가 예견한 인간-컴퓨터 공생의 한 형태로, AI가 연구자의 탐색 공간을 자동으로 확장해준다.
인용
“목표를 명확하게 했던 게 evaluation metric을 명확하게 정의할 수만 있으면 벤치마크가 존재하면 거기는 무조건 된다.” — 노정석, ep90
“가설을 세우고 실험해보고 저 가설 실험해보고, 나한테 계속 갈 거냐 물어보지 말고 계속해라.” — 최승준, ep90
출처
- 📎 클리핑: 20260613-ep98-ko-transcript