강화 학습에서 보상 함수는 모델이 올라가야 할 ‘언덕’의 모양을 만든다. 단순히 맞으면 1점, 틀리면 0점을 주는 이진 보상(Binary Reward)은 학습 초기 단계에서 모델이 성공 경험을 쌓기 어렵게 만들어 학습 속도를 늦추거나 실패하게 만든다. 특히 JSON 추출과 같이 복잡한 구조를 가진 태스크에서는 ‘중간 단계의 성공’을 인정하는 점수 설계가 필수적이다.
근거
클리핑에서는 JSON 추출 태스크를 위해 다음과 같은 3단계 보상 시스템을 제안한다:
- 0.0점: JSON 파싱 자체가 불가능한 경우 (완전 실패)
- 0.5점: JSON 파싱은 가능하지만 스키마(Schema)를 만족하지 못하는 경우 (구조적 성공)
- 1.0점: 파싱이 가능하고 스키마까지 완벽히 일치하는 경우 (완전 성공)
“That middle score matters more than it looks. Without it, valid JSON with the wrong field types would score zero, the same as complete garbage. The model would lose an important signal, that valid structure is already progress. The 0.5 is what gives training something to climb toward.”
0.5점이라는 부분 점수는 모델에게 “방향은 맞았으니 구조를 유지하며 세부 내용을 수정하라”는 강력한 피드백 시그널을 제공한다. 이는 모델이 암흑 속에서 정답을 우연히 맞추길 기다리는 대신, 점진적으로 정답에 수렴할 수 있는 사다리 역할을 한다.
연결된 생각
- Curriculum-Learning — 난이도를 조절하며 학습시키는 전략과의 공통점
- 20260611-grpo-reinforcement-learning-from-logic — 이 보상 체계가 작동하는 알고리즘적 배경