Andrej Karpathy가 자신의 20년 경험을 200줄짜리 microGPT로 압축한 사례는, 암묵지(tacit knowledge)가 하네스와 인수 조건(acceptance criteria)을 통해 리버스 엔지니어링될 수 있음을 보여준다. 그러나 이러한 프로세스가 완성되면, 인간의 역할은 “무엇을 평가할 것인가”라는 메트릭을 정의하는 쪽으로 이동한다. 노정석은 OKR(Objective and Key Results)을 verifiable metric으로 변환하는 능력이 현재 자신의 핵심 업무라고 말한다. 이는 더 이상 결과물 자체를 만드는 것이 아니라, 결과물의 방향과 품질 기준을 scalar 값으로 번역하는 일이다. 결국 인간의 가치는 “측정되지 않는 것을 측정 가능하게 만드는 능력”으로 수렴할 것이다. 또한, Anthropic의 GAN 기반 멀티 에이전트 설계에서도 “주관적인 판단을 구체적으로 채점 가능한 항목으로 바꿔준 기준 집합”의 중요성이 강조되었다.
근거
“저의 모든 문제를 다 치환해서 풀고 있거든요. 목적물이 엑셀이다, 슬라이드다, report다 하면 그 목표는 무엇인가… 무엇을 하든지 그것의 목표는 무엇인가를 objective로 강하게 쓰고, 그 목표가 이루어질 때 우리가 보게 되는 기대되는 key result, 핵심 결과물은 무엇인가… auto research도 OKR을 씁니다.” — 노정석 “에이전트 평가기와 에이전트로 이루어진 멀티 에이전트 구조… 하고자 하는 바가 디자인 영역에서 주관적인 판단을 구체적으로 채점 가능한 항목으로 바꿔준 기준 집합을 개발해야겠다는 서론에 나옵니다.” — Anthropic official blog (clipping 내 인용)
연결된 생각
- 20260605-verifiable-evaluation-principle — 메트릭 설계의 기반이 되는 평가 원리
- 20260605-ai-surpasses-humans-in-verifiable-domains-but-not-in-jokes — 검증 가능 영역과 불가능 영역의 경계
출처
- 📎 클리핑: 20260613-ep98-ko-transcript