정의
검증 중심 AI 자동화는 목표가 명확하고 결과물의 평가(evaluation)가 확실한(verifiable) 영역에서, LLM을 루프(loop)에 넣어 스스로 문제를 탐색하고 최적해를 찾는 방법론이다. 검증 가능한 메트릭이 존재하면 모델은 피드백을 통해 자기 개선(self‑improvement)을 반복하며, 인간은 목표 설정과 metric 설계에만 집중할 수 있다.
핵심 속성
- verifiable reward: 목표에 대한 성공 여부를 scalar 값으로 측정 가능해야 한다. (예: loss 값, 정확도, 인수 조건 통과 여부)
- auto‑research loop: 코드·문서·설정 등을 포함한 저장소(repo)가 자기 자신을 갱신하며 최적해로 수렴한다.
- Ralph loop / GAN 구조: 생성기와 평가기(판별기)의 다중 에이전트 구조로 주관적인 영역도 검증 가능한 기준으로 번역하는 기법.
- manifest 중심: 목표를 명시한 manifest 파일(예:
program.md)이 루프의 시작점이 된다. 인간의 의지를 기계가 이해할 수 있는 형식으로 표현한 것. - 계층 추상화: 모델 성능이 좋아질수록 하네스(scaffolding)의 중요성이 사라지는 것이 아니라 새로운 조합의 공간이 열린다.
관계
- 20260606-unverifiable-domains-human-taste-matters — 대조: 검증 불가능한 영역(농담, 창작)에서는 이 방법론이 실패하거나 인간의 취향이 개입해야 함.
- 20260606-ai-agent-as-a-new-layer-of-abstraction — 연장: 검증 중심 자동화가 가능해짐에 따라 인간은 한 계층 위(목표 설정, manifest)로 이동하게 됨.
- 20260606-implicit-knowledge-reverse-engineering-hypothesis — 응용: 자신의 암묵지를 verifiable한 하네스로 변환하는 시도가 이 개념의 개인적 확장에 해당.
인용
“목표가 명확히 되고 그 목표에 대한 결과물의 evaluation을 확실하게 할 수만 있다면, 그 중간에 있는 것이 문서든 연구든 GitHub 레포든 모델이든 어떤 형태로든 LLM을 투입해서 토큰을 투입해서 최적화, optimize 할 수 있다.”
“검증 가능한 영역에서는 너무 잘 작동하지만 검증하기 어려운 것에서는 다 drift한다.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript