Andrej Karpathy의 AutoResearch는 단순한 ‘vibe coding’의 연장선이 아니라, AI 발전의 가장 깊은 원리 중 하나인 ‘검증 가능성(Verifiability)‘을 극단적으로 밀어붙인 실험이다. 이는 단순히 코드를 생성하는 것을 넘어, 명확한 평가 지표가 존재하는 도메인에서는 ‘무한 반복’ 자체가 하나의 지능 알고리즘으로 작동할 수 있음을 보여준다. 구봉의 Ralphthon 대회에서 하네스 설계자들이 1, 2등을 차지한 사실은, 이 루프의 핵심이 ‘무한 반복’ 자체가 아니라 ‘무엇을, 어떻게 평가할 것인가’에 대한 설계에 있음을 방증한다.
근거
원문에서 노정석과 최승준은 AutoResearch와 Ralph loop의 본질을 다음과 같이 분석한다.
“Ralph loop가 성공하기 위해서는 그 앞과 뒤를 잘 제어해 주면 되거든요. 출발할 때 굉장히 명료하고 깔끔한 컨텍스트로 시작하는 그 플랜을 만들어주는 거, 그리고 명확하게 이게 되면 성공이다라고 하는 그 evaluation metric을 정의해주는 거.”
“안 되는 것들도 물론 있겠지만 안 되는 영역이 훨씬 더 많겠지만 작동하는 영역에서 심플하고 우아하게 이거를 토큰을 제대로 태워서 할 수 있는 그런 경로들이 발견되고 있는 중입니다. 근데 그 잘 작동하는 영역이 공교롭게도 AI 훈련하는 그거죠.”
이진원 CTO는 반도체 설계처럼 “verify하는 과정이 시간도 많이 걸리고 어려워서” 아직 이 루프가 깊이 들어오지 못한 영역이 있음을 지적한다. 즉, 검증의 난이도가 이 패러다임의 적용 범위를 결정짓는 핵심 변수다.
연결된 생각
- 20260607-verification-based-infinite-loop — 이 통찰의 개념적 기반이 되는 wiki 노트
- 20260607-scale-repetition-bitter-lesson — 검증 가능한 무한 루프는 Bitter Lesson의 또 다른 표현
- 20260607-ai-research-intern-oai — OpenAI가 2025년 10월에 예고한 ‘AI 리서치 인턴’은 이 패러다임의 제도화
출처
- 📎 클리핑: 20260613-ep98-ko-transcript