Andrej Karpathy가 auto-research의 한계로 농담을 꼽았다. 최첨단 모델도 3~4년 전 수준의 농담을 벗어나지 못하며, RL이 커버하지 않는 영역이라는 것이다. 이는 단순히 ‘아직 안 된 것’이 아니라, 검증 가능한 평가 지표를 세울 수 없는 작업의 근본적 특성 때문일 수 있다.
근거
“농담을 시키면 최신의 모델도 3~4년 전 모델이 하는 정도의 농담을 벗어나지 못합니다. Andrej Karpathy가 생각하기에 이것은 현재 RL이 커버하지 않는 영역인 것 같다는 것이죠.”
또한 최승준이 같은 하네스로 산문은 성공했지만 농담은 실패한 직접 실험을 언급했다. 모델은 농담을 분석하고 설명하는 데는 능숙하지만, 스스로 웃긴 농담을 생성하지는 못했다.
연결된 생각
- 20260606-verifiable-self-improvement-loop — 이 루프가 통하지 않는 영역을 명확히 함
- 20260606-reverse-engineering-tacit-knowledge — 암묵지 중에서도 포착이 특히 어려운 영역
출처
- 📎 클리핑: 20260613-ep98-ko-transcript