Andrej Karpathy의 Autoresearch는 단순한 연구 자동화 도구가 아니다. 그것은 “검증 가능한 신호(verifiable signal)가 존재하는 도메인에서는 AI가 Ralph loop(계획-실험-평가-반복)를 통해 스스로 성능을 향상시킬 수 있다”는 원리를 실제 코드로 증명한 사례다. 이 원리는 AlphaGo의 self-play, RLVR, 그리고 OpenAI가 예고한 “AI 리서치 인턴” 모두에 공통된 패턴이다.
클리핑에서 노정석은 “목표를 명확하게 한 게 evaluation metric을 명확하게 정의할 수만 있으면 벤치마크가 존재하면 거기는 무조건 된다”고 말했다. 실제로 Autoresearch의 성공 사례(TinyStories 최적화, Sparse Autoencoder 연구, Shopify 코드 53% 성능 향상)는 모두 metric이 명확한 도메인에서 발생했다.
근거
“Autoresearch로 작동하는 영역이 공교롭게도 AI 훈련하는 그거죠.” “될 때까지 그냥 계속 돌리신 거거든요. 이게 앞으로만 가는 게 아니라 뒤로 가서 가설을 세우고 다시 가보고, 안 되면 뒤로 가서 다시 가설을 세우고 그게 되는 알고리즘을 찾아가는 과정.”
또한 최승준의 경험에서 “정확한 피드백과 정확한 데이터를 주는 게 매우 중요”하다는 교훈이 나왔다. 그는 직접 ground truth를 제공하고 모델링 코드를 짜서, 비슷한 결과가 나올 때까지 루프를 돌리자 알고리즘이 스스로 발견되는 현상을 목격했다.
연결된 생각
- alphago-legacy — AlphaGo의 self-play는 최초의 verifiable signal 기반 무한 루프였다. 바둑의 승패라는 명확한 보상이 MCTS와 RL을 가능하게 했다.
- ralph-loop-principle — Ralph loop의 성공 조건: (1) 깔끔한 컨텍스트의 계획, (2) 명확한 evaluation metric, (3) 무한 반복 허용. 이 세 가지가 갖춰지면 도메인에 관계없이 작동한다.
- community-driven-ai-progress — Autoresearch의 아이디어는 소셜미디어와 커뮤니티에서 빠르게 확산되었고, 이는 2016년 AlphaGo 이후 한국 AI 커뮤니티의 활성화와 유사한 패턴이다.