Andrej Karpathy는 Sarah Guo와의 대화에서 AI가 농담을 만드는 능력이 최신 모델에서도 3~4년 전 수준에 머물러 있다고 지적했다. 이는 현재 강화학습(RL) 기반 auto research가 검증 가능한 영역에서는 탁월하지만, ‘웃긴 정도’와 같이 주관적이고 정량화하기 어려운 영역에는 적용되지 않음을 보여준다. 최승준은 직접 동일한 하네스(루프+인수 조건)로 농담을 생성하려 했으나 실패했고, 반면 산문(글쓰기)에서는 탁월한 결과를 얻었다. 이 실험은 검증 가능성(verifiability)이 AI 자동화의 성패를 가르는 핵심 요인임을 확인해준다.
근거
“농담을 시키면 최신의 모델도 3~4년 전 모델이 하는 정도의 농담을 벗어나지 못합니다. Andrej Karpathy가 생각하기에 이것은 현재 RL이 커버하지 않는 영역인 것 같다.”
또한 최승준의 실험: “같은 메커니즘으로 농담을 쓰게 했거든요. 하나도 안 웃깁니다.” 산문은 성공했으나 농담은 실패.
연결된 생각
- 20260607-auto-research-verification-framework — 이 개념의 핵심 조건인 검증 가능성의 부재가 농담 실패의 원인
출처
- 📎 클리핑: 20260613-ep98-ko-transcript