모델이 추론 없이 암기나 우연으로 정답을 맞추는 경우는 일반화가 불가능하다. 이런 ‘찍어서 맞힌’ 패턴은 특정 데이터에 과적합된 것에 불과하다. 강화 학습의 보상 함수가 정답과 오답을 정확히 구분하지 못하면, 이 허위 패턴도 함께 강화되어 일반화 능력을 저해한다. 반면, 정확한 보상(오답을 오답으로 처리)은 일반화 가능한 추론 패턴만 선택적으로 강화한다. 추론 패턴은 다양한 문제에서 일관되게 정답을 내므로 상대적으로 더 높은 보상을 받게 된다. 이는 단순히 정답률을 높이는 것이 아니라, 문제 해결의 일반화 가능한 방식을 학습하도록 유도하는 RL의 핵심 메커니즘이다. 할루시네이션 문제의 근본 원인 중 하나가 바로 이 ‘정확한 피드백의 부재’라는 점을 시사한다.
근거
“일반화 가능하지 않은데 어떤 답을 냈을 때 그 답을 잘못 정답이라고 봐서 그걸 강화시켜주는… 역할을 정확한 피드백이 하는 거죠. 찍어서 맞히는 걸 억제하는 거죠.”
“정답을 정확하게 판단하지 못하면 상대적으로 찍어서 맞히는 경우가 강화를 받을 확률이 높아지겠죠. 그러면 일반화 가능한 패턴이 부상하는 데 방해가 되는 거라고 생각할 수 있습니다.”
연결된 생각
- 20260605-post-training-rl-principles — 정확한 보상의 중요성을 개념적 속성으로 포함
- 20260605-on-policy-rl-is-key-to-generalization — on-policy 환경에서 정확한 보상이 더욱 중요해짐