Andrej Karpathy가 Sarah Guo 인터뷰에서 명확히 선을 그은 지점이다. RL(강화학습)과 검증 가능한 보상 신호가 있는 영역(코드 최적화, 수학 증명, 과학 시뮬레이션)에서는 AI가 인간을 능가하는 속도로 문제를 해결한다. 그러나 농담, 시, 예술적 창작처럼 ‘무엇이 좋은 결과인가’가 주관적이고 정량화하기 어려운 영역에서는 최신 모델조차 3~4년 전 수준에 머문다. 최승준은 직접 실험을 통해 같은 하네스로 산문은 탁월한 결과를 냈지만 농담은 전혀 웃기지 않았다고 증언한다. 이는 단순한 모델 능력의 문제가 아니라, 검증 불가능한 영역의 본질적인 특성이다. 평가 기준(verifier)을 정량화할 수 없는 한, AI는 그 영역에서 표류(drift)할 수밖에 없다. 인간의 창의성, 유머 감각, 취향은 여전히 ‘딸깍되지 않는 일’로 남아 있으며, 이것이 우리가 집중해야 할 가치의 방향이다.
근거
“최신의 모델도 3~4년 전 모델이 하는 정도의 농담을 벗어나지 못합니다. Andrej Karpathy가 생각하기에 이것은 현재 RL이 커버하지 않는 영역인 것 같습니다.”
“산문은 탁월한데, 같은 메커니즘으로 농담을 쓰게 했더니 하나도 안 웃깁니다. … 현재 레짐으로는 농담 같은 것들은 포착이 안 되는 쪽이라는 잠정 결론입니다.”
연결된 생각
- 20260606-auto-research-verifiable-loop — 검증 가능한 영역에서의 자동화 원리
- 20260606-humans-define-key-results — 인간이 평가 기준을 정의하는 역할로 이동
출처
- 📎 클리핑: 20260613-ep98-ko-transcript