LLM 강화 학습에서 보상의 정확성은 단순한 평가 도구를 넘어, 모델의 일반화 방향을 결정짓는 핵심 설계 요소다. 김성현 님은 ‘찍어서 맞히는 행동’과 ‘추론을 통해 일반화하는 행동’이 공존할 때, 정확한 보상이 후자를 선택적으로 강화한다고 설명한다. 만약 보상이 오류를 포함한다면(예: 부정확한 정답 판정), 암기 기반 패턴이 잘못 강화되어 일반화에 실패할 위험이 커진다. DeepSeek R1이 단순히 최종 답변만 정답과 일치하는지 확인하는 규칙 기반 보상을 사용한 것이 성공의 핵심이었다는 점이 이 주장을 뒷받침한다. 결국, RL의 성패는 얼마나 깨끗하고 객관적인 보상 신호를 설계하느냐에 달려 있다.
근거
“정답을 정확하게 판단하지 못하면 상대적으로 찍어서 맞히는 경우가 강화를 받을 확률이 높아지겠죠. 그러면 일반화 가능한 패턴이 부상하는 데 방해가 되는 겁니다.” “DeepSeek R1의 방식은 아주 간단했습니다. 보상은 응답이 정답과 맞는지 판단하는 것만 했고, 추론 과정 내부에는 전혀 터치하지 않았습니다.”
연결된 생각
- 20260607-rl-amplifies-existing-reasoning — RL이 추론 패턴을 증폭시키는 메커니즘
- 20260607-importance-of-on-policy-rl — 온-폴리시 학습과 보상 정확성의 상호 보완 관계
- 20260607-rl-in-llm-post-training — 보상 설계의 개념적 기초