정의
검증 가능한 신호(verifiable reward)를 기반으로 에이전트가 스스로 아이디어를 생성하고 실험하며 평가 결과에 따라 반복 개선하는 학습 패러다임. AlphaGo의 Monte Carlo Tree Search, 현재의 Chain-of-Thought, 그리고 Autoresearch의 Ralph loop 모두 이 원리의 변형이다.
핵심 속성
- 명확한 평가 메트릭: 성공/실패가 자동으로 판별 가능해야 루프가 작동한다. (예: 코드 실행 통과, 벤치마크 점수 향상)
- 무한 반복 구조: 계획(plan) → 실행(execute) → 평가(evaluate) → 재계획(re-plan)의 순환을 멈추지 않음. “Never stop”이 핵심 지침.
- 평가 하네스의 중요성: 루프의 성패는 평가 하네스(eval harness) 설계에 달려 있음. Ralphthon 1등/2등이 모두 하네스 설계자였다는 사례가 증명.
- 스케일 불변성: 검증 가능한 영역이기만 하면 문제 크기에 관계없이 작동. (Shopify CEO의 코드 53% 최적화, TinyStories 최적화 등)
관계
- 20260606-autoresearch-verified-reward-loop — 구체적 구현 사례
- 20260606-hyperaccel-lpddr-cost-reduction — 다른 도메인 응용 가능성 (검증 시간이 길어 어려움)
- 20260606-alphago-move-37-platform-37 — 역사적 맥락 (AlphaGo가 이 루프의 초기 완성 사례)
인용
“방대한 양의 인간 데이터를 모방하고, 더 나은 추론을 위해 추론 시점에 연산량을 늘리고. 강화학습을 사용해 단순한 모방을 넘어선다.” — Noam Brown (AlphaGo 10주년 포스팅)
“Autoresearch 방식: 준비, 학습, 프로그램 설명. never stop. 멈추지 말고, 아이디어가 막히면 페이퍼 읽고 오고. 계속해라.” — Andrej Karpathy
출처
- 📎 클리핑: 20260613-ep98-ko-transcript