Ilya Sutskever가 RL의 가치 함수와 인간의 감정을 비유한 것은 LLM이 가지지 못한 내적 동기(intrinsic motivation)의 중요성을 시사한다. 완전히 이성적인 에이전트는 결정을 전혀 못 한다는 뇌과학 사례에서 보듯, 인간은 불확실성 속에서 도약하기 위해 감정이라는 휴리스틱을 사용한다. 현재 LLM은 외부 보상(RLHF, 테스트 보상)에만 의존하지만, 샘플 효율적 일반화와 지속 학습을 위해서는 내재적 가치 함수 — 즉, ‘무엇이 좋은 상태인지’에 대한 본능적 판단 — 가 필요하다. 이는 페르마의 마지막 정리 같은 장기적 탐색을 가능하게 하는 동력이기도 하다.
근거
“감정이 가치 함수다… 실제로 있었던 사례이기 때문에 언급하는 것 같은데 그래서 사람들이 생각하듯 감정이 없으면 완벽하고 철두철미하게 합리적인 결정만 할 수 있을 것이다. 그런데 실제로 일어나는 일은 결정을 전혀 못 하는 상태가 되는 거죠.” — 김성현
“수학 증명 같은 장기적 보상 문제를 해결하기 위해 수학자들은 내적 동기를 가지고 탐색했다.” — Yao Shunyu (인터뷰 인용)
연결된 생각
- 20260607-scaling-paradigm-shift-research-bottleneck — 연구 돌파구로서의 감정/가치 함수 도입.
- 20260607-scaling-alone-not-enough — 경제적 함의: 샘플 효율적 에이전트가 더 큰 가치 창출.
출처
- 📎 클리핑: 20260613-ep98-ko-transcript