Karpathy가 언급한 농담의 예시는 단순한 흥밋거리가 아니다. 이는 현재 AI 학습 패러다임이 정량적 검증 가능성에 의존하고 있음을 드러내는 리트머스 시험지다. 코미디의 효과는 청중의 반응, 타이밍, 문화적 맥락 등 계량화하기 어려운 요소에 의존하기 때문에, 기존의 RL 피드백(예: loss, win-rate)으로는 포착되지 않는다. 최승준이 동일한 하네스(루프+인수 조건)로 산문은 성공했지만 농담은 실패한 대조 실험은 이 한계를 생생히 보여준다.
근거
Karpathy는 농담의 실패를 “현재 RL이 커버하지 않는 영역”이라고 진단했다. 모델은 무엇이 웃긴지 ‘해석’하는 것은 잘하지만, 직접 ‘생성’하는 것은 실패한다. 이는 평가 메트릭이 없기 때문이다. 정성적 요소를 scalar로 압축하는 방식이 아직 발견되지 않았거나, RL 훈련의 economic incentive가 부족하기 때문일 수 있다.
“현재 레짐이 프리 트레이닝 + 미드 트레이닝 + 포스트 트레이닝 RL로는 농담 같은 것들은 포착이 안 되는 쪽이라는 잠정 결론” — 최승준
연결된 생각
- 20260603-verifiability-driven-automation — 상위 개념 (검증 가능성의 조건)
- 20260603-verifiable-domain-human-value — 연장 (검증 불가능 영역의 인간 가치)
- 20260603-tacit-knowledge-harnessing-advantage — 대조 (암묵지도 하네스화로 일부 포착 가능?)
출처
- 📎 클리핑: 20260613-ep98-ko-transcript