정의
알파고가 2016년 바둑 대국에서 처음 선보인 방대한 양의 인간 데이터 모방 → 추론 시점 연산량 증가(Monte Carlo Tree Search) → 강화학습으로 자기 개선이라는 3단계 패턴은, 이후 10년간 최전선 추론 모델(Chain-of-Thought, RLVR, Autoresearch)의 구조적 원형이 되었다. 이 패턴은 ‘검증 가능한 신호(Verifiable Reward)‘가 존재하는 도메인에서 무한 반복 루프(Ralph loop)를 구동하여 테스트-타임 연산을 확장하는 방식으로 진화하고 있다.
핵심 속성
- 인간 데이터 모방 단계: 초기 지도학습(supervised learning)으로 기초 정책망(policy network) 구축. 현재 LLM의 pre-training에 대응.
- 추론 시 연산 확장: MCTS(당시) → Chain-of-Thought(현재)로 이어지는, 문제 해결 시 추가 계산 자원 투입.
- 자기 개선 강화학습: self-play를 통한 RL로 인간 수준을 초월. AlphaZero 방향성은 현재 RLVR/GRPO로 계승.
- 검증 가능한 보상(Reward): 승패(바둑), 정답(수학), 벤치마크 점수(연구) 등 명확한 평가 지표가 존재할 때만 이 루프가 작동.
관계
- 20260606-alphago-37-move-as-symbol — 패턴의 상징적 결과물
- 20260606-verifiable-reward-gap — 이 패턴이 적용되지 않는 영역의 한계
- AlphaZero — 인간 데이터 없이 RL만으로 일반화한 확장 (기존 개념 링크)
- bitter-lesson — 스케일링 중심 발전의 근본 원리
인용
“오늘날 최전선 추론 모델들을 가능하게 한 핵심 방식은 놀랍게도 AlphaGo와 비슷하다. 방대한 양의 인간 데이터를 모방하고, 더 나은 추론을 위해 추론 시점에 연산량을 늘리고(당시에는 Monte Carlo Tree Search, 오늘날에는 Chain of Thought), 강화학습을 사용해 단순한 모방을 넘어선다.” — Noam Brown
출처
- 📎 클리핑: 20260613-ep98-ko-transcript