정의
Auto-Research는 목표가 명확하고 평가가 가능한(verifiable) 작업에 대해, LLM 에이전트가 반복적인 생성-평가-개선 루프를 통해 최적해를 찾아가는 방법론이다. 핵심은 명확한 평가 지표(보상 신호)가 존재할 때, 컴퓨팅 자원을 대량 투입하여 search problem으로 전환할 수 있다는 원리다.
핵심 속성
- 검증 가능성: 작업의 성공 여부를 객관적 지표(예: loss, 정확도, 정해진 인수 조건)로 측정 가능해야 함.
- 루프 구조: Agent → 행동 생성 → 평가 → 피드백 → Agent (반복)
- manifest 파일: 목표와 제약을 명시한
program.md같은 선언적 파일이 루프의 앵커 역할. - 표류(drift) 가능성: 검증이 어려운 영역(예: 농담, 창의성)에서는 루프가 제대로 수렴하지 못하고 표류함.
관계
- 20260606-non-verifiable-domain-remains-human — 대조: 검증 불가능 영역의 한계 지적
- 20260606-okr-as-human-skill-in-ai-era — 연장: 검증 지표를 인간이 설계하는 방법
- 20260606-reverse-engineering-tacit-knowledge — 연장: 암묵지를 이 루프로 포착하는 시도
인용
“목표가 명확히 되고 그 목표에 대한 결과물의 evaluation을 확실하게 할 수만 있다면, 그 중간에 있는 것이 문서든 연구든 GitHub 레포든 모델이든 어떤 형태로든 LLM을 투입해서 토큰을 투입해서 최적화, optimize 할 수 있다.”
“검증 가능한 영역에서는 너무 잘 작동하지만 검증하기 어려운 것에서는 다 drift한다, 표류한다는 표현을 썼다.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript