Karpathy가 “manifest”라고 부르고 노정석이 “OKR”이라고 부르는 것의 본질은 동일하다: 인간의 의도를 AI가 실행 가능한 형식으로 구조화하는 것. 이는 단순한 프롬프트 엔지니어링을 넘어, ‘무엇이 성공인가’를 정의하는 메타-레벨의 설계 작업이다.
팟캐스트에서 노정석은 모든 업무를 Objective와 Key Results로 분해하고, delta를 scalar로 정의한 후 auto research 루프를 돌리는 방법을 설명한다. 이 접근법의 핵심은 ‘평가 지표의 설계’가 인간의 고유 영역이라는 점이다. LLM은 주어진 metric에 대해 최적화는 잘하지만, metric 자체를 창의적으로 정의하는 능력은 아직 부족하다.
이 전환은 인간의 역할을 ‘하는 사람(doer)‘에서 ‘평가 시스템 설계자(evaluation architect)‘로 바꾼다. 더 이상 코드를 직접 작성하지 않고, 어떻게 평가할지, 어떤 기준으로 성공을 판단할지를 정의한다. 이것이 Karpathy가 “에이전트가 못하는 것이 당신의 일”이라고 말한 의미다. Anthropic의 하네스 설계 가이드에서도 같은 결론에 도달한다: 모델이 좋아질수록 하네스 조합의 공간은 이동하며, AI 엔지니어의 흥미로운 일은 새로운 조합을 계속 찾아내는 것이다.
근거
“저의 모든 문제를 다 치환해서 풀고 있거든요. 목적물이 엑셀이다 슬라이드다 report다 하면 그 목표는 무엇인가… 무엇을 하든지 그것의 목표는 무엇인가를 objective로 강하게 쓰고, 그 목표가 이루어질 때 우리가 보게 되는 기대되는 key result는 무엇인가.”
연결된 생각
- 20260606-auto-research-verifiability — 메타-엔지니어링의 개념적 도구 (평가 지표 설계가 자동화의 전제 조건임)
- 20260606-verifiability-determines-ai-capability — 검증 가능성이 AI 자동화의 범위를 결정한다는 근본 원리
출처
- 📎 클리핑: 20260613-ep98-ko-transcript