Ralphthon(OpenAI 공동 개최)에서 계획을 한 번 짜면 12시간 동안 손을 못 대고 RL 루프만 돌게 했는데, 1·2등이 모두 하네스 설계자였다는 사실은 단순한 우연이 아니다. 무한 반복은 누구나 켤 수 있다. 차이를 만든 건 그 루프의 **앞(계획)과 뒤(평가)**를 누가 더 정교하게 설계했느냐였다.
근거
노정석의 정리에 따르면 모든 Autoresearch·Ralph loop 프레임워크는 구조가 같다. 결과가 나올 때까지 무한 반복하는 루프가 본체이고, 성패는 두 끝단에서 갈린다. (1) 깔끔하고 명료한 컨텍스트로 시작하는 플랜, (2) ‘이게 되면 성공’을 정의하는 명확한 evaluation metric.
무한 반복은 맞는데 어떻게 계획을 정교하게 세우느냐, 그리고 이 결과를 어떻게 evaluate 하느냐, 이런 부분에 하네스를 정교하게 짜신 분들이 더 성공하시더라.
이건 내 위키 파이프라인 작업에도 그대로 적용된다. 노트 생성을 ‘될 때까지 반복’시키는 것보다, 입력 컨텍스트(클리핑 정제·연결점 탐색)와 출력 검증(note-format 체크리스트)을 정교화하는 데 투자하는 편이 훨씬 큰 레버리지를 가진다. 모델을 더 좋은 걸로 바꾸는 것보다 하네스를 다듬는 것이 먼저다.
연결된 생각
- 20260607-autoresearch-as-modern-mcts — 반복 탐색 루프로서의 Autoresearch
- 20260602-evaluation-first-then-build — 평가 기준을 먼저 정의하라는 같은 원칙
- 20260603-ep77-6rs-pipeline — 내 노트 파이프라인이 곧 하나의 하네스다
출처
- 📎 클리핑: 20260622-ep90-ko-transcript