Ilya Sutskever가 RL의 ‘가치 함수’에 비유한 감정의 역할은 LLM의 근본적 한계를 정확히 지적한다. 완전히 합리적인 에이전트는 불확실성 속에서 의사결정을 못 한다(뇌 절제술 사례). 감정은 정보 과부하를 차단하고 휴리스틱을 제공하며, 샘플 효율성을 극적으로 높인다. 현재 LLM은 이 ‘감정 가치 함수’가 없기 때문에, 수많은 rollout 없이는 일반화가 어렵고, 놀라운 능력과 어처구니없는 실수가 공존한다. 이는 ‘벤치맥싱(bench-maxxing)’ 현상의 근본 원인이다.
근거
“감정이 가치 함수다. 사람들이 생각하듯 감정이 없으면 완벽하고 합리적인 선택을 할 것 같지만, 실제로는 결정을 전혀 못 하는 상태가 된다.” “더러운 것을 보면 피하는 휴리스틱은 혐오 감정과 결부되어 있다. 합리적으로 따지기 전에 빠르게 판단하게 해준다.” (김성현 해설)
이 비유에서 중요한 통찰은 감정이 단순히 비합리적 요소가 아니라, 진화가 설계한 효율적 결정 메커니즘이라는 점이다. LLM이 ‘spiky intelligence’를 보이는 이유는 가치 함수 없이 brute-force rollout으로 학습하기 때문이다. 인간의 감정 가치 함수는 특정 상황에 빠른 휴리스틱을 할당하여 샘플 효율적인 일반화를 가능하게 한다. 만약 LLM에 유사한 ‘내적 동기(intrinsic motive)’ 메커니즘을 구현할 수 있다면, continual learning과 샘플 효율성 문제를 획기적으로 개선할 수 있을 것이다.
연결된 생각
- 20260606-age-of-research-and-pre-training-scaling-limitation — 연구의 시대에 필요한 스케일링 대안으로서의 휴리스틱.
- limited-rationality — 제한된 합리성: 불확실성 속에서 감정이 어떻게 결정을 내리는지 설명하는 틀.
- Yao Shunyu의 ‘내적 동기(intrinsic motive)’ 개념 — 수학 증명 같은 긴 rollout 문제에서 보상 없이도 탐색하게 하는 메커니즘.
출처
- 📎 클리핑: 20260613-ep98-ko-transcript