강화 학습에서 보상 신호의 정확성은 단순한 성능 향상을 넘어, 모델이 어떤 종류의 행동 패턴을 학습할지를 결정하는 핵심 요소다. LLM 추론 학습에서 이 점은 더욱 중요해진다.
모델은 두 가지 방식으로 정답을 생성할 수 있다. 하나는 추론 과정(Chain-of-Thought)을 거쳐 일반화 가능한 규칙을 적용하는 방식이고, 다른 하나는 단순히 암기한 답변을 찍어내는 방식이다. 후자는 특정 문제에 대해서는 정답을 맞힐 수 있지만, 문제가 조금만 변형되어도 틀리기 쉽다. 즉 일반화 성능이 낮다.
만약 보상 신호가 정확하다면(즉, 정답일 때만 보상을 주고 오답일 때는 보상을 주지 않는다면), 암기식 답변은 상대적으로 자주 오답을 내므로 강화를 덜 받는다. 반면 추론 방식은 다양한 문제에서 일관되게 정답을 맞출 확률이 높으므로 더 큰 강화를 받는다. 결과적으로 정확한 보상은 ‘일반화 가능한 추론’이라는 패턴을 선택적으로 증폭시키는 필터 역할을 한다.
반대로 보상 신호가 부정확하다면(오답을 가끔 정답으로 인정하거나, 정답을 오답으로 처리한다면), 암기식 답변이 우연히 강화를 받을 확률이 높아진다. 그러면 일반화 불가능한 패턴이 학습되어 전체적인 성능이 떨어진다.
이 관점은 RLHF를 넘어 정답이 명확한(math, code) 영역에서 RL이 왜 더 효과적인지도 설명해준다. 정답이 모호한 창의적 영역에서는 보상 신호 자체가 불완전할 수밖에 없어, 일반화 가능한 추론 패턴을 선택적으로 강화하기 어렵다.
근거
“추론하지 않고 그냥 암기해서 푸는 이런 부분들에서 오답이 많이 발생할 그런 부분에 대해서는 정답이 아닌 경우에 오답이라고 해주고, 추론을 통해서 일반화 가능한 방식으로 문제를 제대로 풀었을 경우에 … 그 경우에만 정답을 정답이라고 보상을 줘야 하는 거죠. 오답을 정답이라고 피드백을 주면 안 되는 겁니다.”
연결된 생각
- 20260606-rl-llm-reasoning-emergence — 보상 정확성이 추론 패턴 강화의 조건임을 개념적 관계로 설명 (하위개념)
- 20260606-reasoning-pattern-from-pretraining-to-rl — Pre-training 패턴과 보상 신호의 상호작용 (연장)