강화 학습에서 보상 피드백의 정확성은 일반화 가능한 패턴을 선택적으로 강화하는 결정적인 요소다. LLM이 추론 없이 찍어서 정답을 맞히는 경우(암기)는 오답이 많지만, 가끔 정답을 맞히기도 한다. 만약 보상이 부정확하면 이런 찍기 패턴도 강화되어 일반화를 방해한다. 반면 정확한 보상(정답만 보상)은 추론을 통해 일반화 가능한 방식으로 푼 경우에만 보상을 주어, 암기 패턴을 억제하고 추론 패턴을 부상시킨다. 이는 DeepSeek R1의 단순한 프롬프트와 정답 보상만으로 추론이 발생한 이유이기도 하다. 즉, “가혹할 정도로 정확한” 피드백이 일반화 가능한 행동을 선택하는 핵심 도구다.
근거
원문에서는 정확한 피드백이 일반화 가능하지 않은 패턴(찍기)을 억제하는 역할을 강조한다.
“정답을 정답이라고 정확하게 판단해 주는 것이 일반화 가능한 패턴이 상대적으로 더 강화되게 하는 것… 찍어서 맞히는 걸 억제.”
연결된 생각
- 20260606-on-policy-rl-for-llm-reasoning — 상위 개념: On-Policy RL에서 보상 피드백의 역할
- 20260606-pretraining-holds-reasoning-seeds — 연장: 프리트레이닝이 제공한 추론 씨앗이 정확한 보상으로 활성화되는 과정