완벽한 정석을 그대로 따라 하는 것이 언제나 최선일까? 최신 AI 학습, 그리고 우리 삶을 관통하는 뼈아픈 교훈은 “내 능력 범위를 벗어난 전문가의 궤적은 모방해 봐야 실전에서 쓸모가 없다”는 것이다.
자율주행을 생각해보자. 훌륭한 인간 전문가는 장애물을 만났을 때 A지점에서 B지점으로 유려하게 빠져나갈 수 있다(Off-Policy). AI가 이 궤적만 주입받아 달달 외운다면 어떻게 될까? 현실에서 변수가 생겨 모델이 B가 아닌 C로 이탈하는 순간, 모델은 자기가 처음 보는 낯선 상태에 빠져 먹통이 되고 만다. 스스로 B로 갈 수 있는 내재적 ‘능력(Capacity)‘이 없었음에도 그저 결과 궤적만 복사했기 때문이다.
진정한 일반화는 ‘결과의 암기’가 아니라 ‘알고리즘의 체화’다. 모델이든 사람이든 불확실성 가득한 환경에서 살아남으려면 자신의 불완전한 능력 내에서 직접 행동해 보고 뼈아픈 실패와 보상을 경험해야 한다(On-Policy). Jason Wei의 말처럼 우리는 초기엔 훌륭한 스승을 맹목적으로 모방하지만, 결국 각자가 가진 조건과 역량이 다르기에 어느 순간부터는 스스로 부딪히며 나만의 문제 해결 경로를 개척해야 한다. 인생 자체가 거대한 On-Policy 강화학습의 연속인 셈이다.
근거
“전문가가 Off-Policy로 행동한 과정을 가지고 배웠는데… 모델은 B라는 지점으로 갈 수 있는 능력이 아직 없는 겁니다. C라는 지점으로 가버려요. 자기가 처음 보는 상황이 발생하는 거죠. 여기서부터 문제를 풀 수 없게 되는 겁니다.”
연결된 생각
- imitation-vs-exploration — 모방은 초기 성장을 가속하지만 한계 효용에 빠르게 도달하며, 고통스러운 탐색은 초기엔 느리지만 궁극적인 일반화를 이끌어낸다.
- life-is-an-rl-agent — 사회가 쥐어준 외부의 명시적 정답 궤적을 좇기보다, 스스로의 역량 내에서 부딪히며 피드백 루프를 구축하는 것이 성장의 핵심이다.