최승준이 동일한 하네스(자동 루프 + 인수 조건)로 산문은 탁월한 결과를 얻었으나 농담은 전혀 웃기지 않았다는 실험 결과는 단순한 호기심을 넘어선다. 이는 현재 강화학습(RL)과 검증 기반 자동화가 커버하지 못하는 영역이 존재함을 실증한다. 농담의 본질은 청자의 암묵적 취향과 사회적 맥락, 예측 불가능성에 의존하는데, 이런 요소들은 오늘날의 지표로 계량화하기 어렵다. 그러나 바로 그렇기 때문에 이 영역은 인간이 여전히 경쟁력을 가질 수 있는 ‘도피처’가 된다.
근거
원문에서 Andrej Karpathy는 “농담을 시키면 최신의 모델도 3~4년 전 모델이 하는 정도의 농담을 벗어나지 못합니다”라고 말한다. 최승준의 실험도 이를 확인해준다. 반면 산문(verifiable한 구조? 사실 산문도 주관적이지만)은 루프와 자기평가를 통해 상당한 수준에 도달했다. 이 차이는 ‘웃음을 유발하는 것’에 대한 명확한 측정 기준이 부재하기 때문으로 추정된다.
“개그를 짠다는 표현이 있잖아요. 코미디언들도 회의를 하면서 이런저런 가설을 세우고 실험해 보고 평가회를 해서 안 웃겨, 안 웃겨 하면서 깎아내는 작업을 하는데, 비슷하게 하면 될 것 같았으나 실제로 나온 것을 보면 그런 수준이고…”
또한 최승준은 “취향은 좋아하는 것만의 취향이 아니라 싫어하는 것도 굉장히 중요한 시그널”이라는 인사이트를 얻었다. 이는 평가 기준의 결핍을 메우기 위해 인간의 주관적 판단이 필수적임을 의미한다.
연결된 생각
- 20260607-boundary-of-verifiability — 검증 가능성의 경계에서 농담은 non-verifiable 영역의 대표 사례
- human-taste-as-evaluation-function — 인간의 감정과 취향이 AI의 가치 함수 역할을 할 수 있다는 가설