정의
자기 증강 학습은 에이전트가 명확한 검증 가능한 신호(verifiable signal)를 기반으로 자체적으로 아이디어를 생성, 실험, 반복하여 성능을 개선하는 학습 패러다임이다. 평가 지표가 명확히 정의된 도메인에서 에이전트가 무한 반복 루프를 통해 스스로 발전한다.
핵심 속성
- 검증 가능한 신호 (Verifiable Signal): 반드시 정량적이고 재현 가능한 평가 지표가 존재해야 한다. (예: 벤치마크 점수, 실행 시간, 정답 여부)
- 무한 반복 루프 (Ralph Loop): 계획 → 실행 → 평가 → 개선의 사이클이 사람의 개입 없이 지속된다. 실패 시 자동으로 이전 단계로 돌아가 가설을 재수립한다.
- 자율적 가설 생성: 에이전트가 스스로 실험 계획을 세우고, 실패 시 문헌 조사 등으로 지식을 확장하여 새로운 가설을 도출한다.
- 정교한 하네스 설계: 루프의 성패는 초기 계획의 명확성과 평가 함수의 정밀도에 크게 의존한다. (Ralphthon 1·2위 하네스 설계자의 사례)
관계
- 20260605-verifiable-signal-unlocks-autonomous-improvement — 하위개념 (구체적 구현 사례)
- 20260605-alphago-37-as-machine-creativity — 사례 (AlphaGo의 MCTS + RL도 동일한 패턴)
- 비터 레슨 — 연장 (스케일링의 또 다른 형태: 연산량을 시간축으로 확장)
- RLVR — 대조 (RLVR은 학습 과정의 레이어, 자기 증강은 응용 레이어에 적용)
인용
“방대한 양의 인간 데이터를 모방하고, 더 나은 추론을 위해 추론 시점에 연산량을 늘리고, 강화학습을 사용해 단순한 모방을 넘어선다. 놀랍게도 AlphaGo와 같다.” — Noam Brown