AlphaGo의 Monte Carlo Tree Search(MCTS)는 추론 시점에 연산을 확장하여 더 나은 수를 찾는 방법이었다. 오늘날 Andrej Karpathy가 제안한 Autoresearch는 동일한 원리를 연구 과정에 적용한다. 명확한 평가 기준(예: 벤치마크 점수)이 있을 때, 모델이 가설을 세우고 실험하며 평가 결과에 따라 반복하는 Ralph loop는 MCTS의 연구 버전이다.
차이점은 MCTS가 트리 탐색을 하는 반면 Autoresearch는 더 자유로운 형태의 아이디어 탐색이라는 점이다. 그러나 핵심은 동일하다: “될 때까지 계속”이다. 노정석이 팟캐스트에서 말했듯, “기본적으로는 다 Ralph loop고 무한 반복”이다. 최승준은 이 방법으로 직접 알고리즘을 발견한 경험을 공유하며 “정확한 피드백과 정확한 데이터를 주는 게 매우 중요하다”는 교훈을 얻었다.
근거
원문에서 노정석은 이렇게 설명한다: “RLVR을 학습 과정에서 어떤 그 verifiable한, 검증 가능한 신호를 줄 수만 있다면 그 도메인에서 학습을 계속할 수 있다… 명확하게 이게 되면 성공이다라고 하는 그 evaluation metric을 정의해주는 거.” 최승준은 자신의 경험을 덧붙인다: “안 되던 거를 다 모델링을 하는 코드를 짜고 모델링을 직접 해서 제가 일종의 ground truth를 제공하고 이거와 비슷하게 달성할 때까지 돌리니까 알고리즘이 나오더라고요.”
연결된 생각
- 20260607-alpha-go-37-move-symbol — AlphaGo의 37수가 보여준 인간 초월의 순간
- 20260607-clear-evaluability-self-improvement — 평가 가능성이 자기 증강의 핵심 조건임을 설명하는 개념 노트
출처
- 📎 클리핑: 20260613-ep98-ko-transcript