LLM 학습에서 보상 신호의 정확성은 단순한 ‘평가 기준’ 이상의 의미를 가진다. 이는 모델이 추론(일반화 가능한 패턴)을 향해 갈지, 아니면 암기(오버피팅)에 갇힐지를 결정짓는 가장 중요한 외부 제어 메커니즘이다. 이 통찰은 많은 연구자들이 간과하는 ‘보상의 질’이 ‘보상의 양’보다 훨씬 중요하다는 점을 명확히 한다.
SFT(지도 학습)의 근본적인 한계는 바로 이 지점에서 드러난다. SFT는 정답을 제공하지만, 모델이 그 정답에 도달하는 과정(추론)을 평가하지 않는다. 결과적으로 모델은 ‘아는 문제는 추론으로, 모르는 문제는 무조건 답을 내는(할루시네이션)’ 이중 행동 양식을 학습한다. 이는 보상 신호가 부재한 상태에서 모델이 스스로 구조화한 변칙적인 전략이다.
반면, 정확한 보상 신호(예: 정답 일치 여부)가 있는 RL 환경에서는 상황이 완전히 달라진다. 모델이 추론을 통해 정답에 도달할 확률이 암기로 찍을 확률보다 현저히 높기 때문에, 동일한 정답이라도 추론을 사용한 행동이 더 큰(또는 상대적으로 더 강한) 보상을 받게 된다. 이 미묘한 비대칭성이 반복되면서, 추론 패턴의 확률은 지수적으로 증가하고 암기 패턴은 상대적으로 도태된다. 즉, 보상 신호의 정확성은 모델이 ‘어떻게’ 정답에 도달했는지를 간접적으로 평가하는 프록시 역할을 한다.
근거
“일반화 가능하지 않은데 어떤 답을 냈을 때 … 답을 잘못 정답이라고 봐서 그걸 강화시켜주는 … 역할을 정확한 피드백이 하는 거죠.” “추론해서 정답을 냈을 경우는 정답을 정답이라고 보상을 줘야 하는 거죠. 오답을 정답이라고 피드백을 주면 안 되는 겁니다.”
연결된 생각
- 20260607-on-policy-rl-for-llm-reasoning — On-policy RL의 성공은 정확한 보상 신호가 전제되어야 한다. 보상이 부정확하면 on-policy 학습은 오히려 해롭다.
- 20260607-generalization-vs-memorization — 이 분석은 추론(일반화)과 암기(오버피팅)가 동일한 데이터로부터 어떻게 경쟁적으로 학습되는지를 보여준다.