Andrej Karpathy가 농담은 여전히 RL이 커버하지 못하는 영역이라고 지적한 대목은 단순한 기능적 한계가 아니라, 검증 불가능한 창작의 본질을 드러낸다. 최승준의 실험에서도 같은 하네스(루프 + 인수 조건)로 산문은 훌륭한 결과를 냈지만 농담은 전혀 웃기지 않았다. 이는 ‘재미’라는 평가 기준이 모델 스스로 정량화할 수 없는 인간 고유의 감각 영역에 속하기 때문이다.
근거
“산문은 괜찮은데, 같은 메커니즘으로 농담을 쓰게 했거든요. 하나도 안 웃깁니다.”
“취향은 좋아하는 것만의 취향이 아니라 싫어하는 것도 굉장히 중요한 시그널이구나.”
이 경험에서 얻은 실질적인 교훈은 싫어하는 것을 명시적인 거절(rejection)으로 프롬프트에 포함했을 때 오히려 결과물의 품질이 올라갔다는 점이다. 즉, 인간의 부정적 감정(싫어함)이 AI에게 제공할 수 있는 강력한 평가 신호가 될 수 있다. 이는 verifiable metric을 만들기 어려운 영역에서 강제로 scalar reward를 만드는 대신, 인간의 취향 차원에서 ‘이것은 아니다’를 반복적으로 피드백하는 방식이 효과적임을 시사한다.
연결된 생각
- 20260606-verifiability-driven-ai-automation — 검증 가능한 영역의 자동화와 대비: 창작은 여전히 인간의 판단이 요구됨.
- 20260606-ai-agent-as-a-new-layer-of-abstraction — 검증 불가능한 영역에서도 인간의 취향을 ‘verifiable한 거절’로 변환하면 추상화 계층으로 활용 가능.
출처
- 📎 클리핑: 20260613-ep98-ko-transcript