정의

명확하게 정의된 평가 지표(검증 가능한 신호)가 존재하는 모든 도메인에서, 에이전트가 해당 지표를 최적화하기 위해 계획-실행-평가 사이클을 무한히 반복함으로써 목표를 달성하는 컴퓨테이셔널 패러다임.

핵심 속성

  • 검증 가능성(Verifiability): 루프의 성공은 목표 달성 여부를 명확히 판단할 수 있는 평가 메트릭의 존재에 절대적으로 의존한다. “평가 가능한 validation 점수”가 핵심이다.
  • 무한 반복(Infinite Loop): “될 때까지” 멈추지 않는다. 아이디어가 고갈되면 논문을 읽거나 가설을 수정한 뒤 다시 시도한다. (program.md의 never stop 지시)
  • 계획과 하네스(Plan & Harness): 루프의 효율은 초기 계획의 정교함과 평가 하네스(Evaluation Harness)의 설계 품질에 결정적으로 좌우된다. Ralphthon 대회에서 하네스 설계자가 1, 2등을 차지한 것이 이를 증명한다.
  • 도메인 의존성: 수학 증명, 코드 최적화, AI 모델 학습 등 검증이 쉬운 분야에서 강력하게 작동한다. 반도체 설계처럼 검증 과정이 오래 걸리거나 모호한 분야에서는 적용이 어렵다.

관계

인용

“목표를 명확하게 했던 게 evaluation metric을 명확하게 정의할 수만 있으면 벤치마크가 존재하면 거기는 무조건 된다.” “이게 성공하기 위해서는 그 앞과 뒤를 잘 제어해 주면 되거든요. 출발할 때 굉장히 명료하고 깔끔한 컨텍스트로 시작하는 그 플랜을 만들어주는 거, 그리고 명확하게 이게 되면 성공이다라고 하는 그 evaluation metric을 정의해주는 거.”

출처

클리핑 · youtube.com