이 대화의 마지막 부분에서 Jason Wei의 이야기가 인상적이다. 인간도 처음에는 선생님을 모방하지만, 어느 순간 자신만의 능력과 환경이 다르기 때문에 모방으로는 한계에 부딪힌다. 그 지점에서 on-policy 학습, 즉 스스로 시행착오를 겪고 보상을 통해 배우는 과정이 필요하다. 이는 LLM의 강화 학습과 정확히 같은 원리다. 화자는 “인생 자체가 on-policy RL”이라고 표현하며, 사회적 보상(돈, 명예)이 외부 보상 함수 역할을 하고, 스스로 내적 보상 체계를 정립하는 사람이 위대한 방향으로 나아간다고 말한다.
근거
김성현은 “그 모방할 수 없는 지점에서 on-policy를 할 수밖에 없다. 스스로 시도해 보고 거기에 대해서 경험을 얻고 보상을 얻을 수밖에 없다”고 인용한다. 이는 LLM에서 off-policy의 한계를 넘어 on-policy RL이 필요한 이유와 정확히 일치한다.
연결된 생각
- 20260602-on-policy-generalization — on-policy가 일반화를 가능하게 하는 구체적 이유
- 20260602-rl-emergence-in-llm — LLM의 추론 부상이 인간의 자기 발견 과정과 유사함