기존의 지도 학습(SFT) 방식으로는 LLM의 JSON 추출이나 코드 생성 신뢰도를 100%로 끌어올릴 수 없다. SFT는 모델에게 ‘정답처럼 보이는 데이터’를 생성하도록 토큰 단위로 흉내 내게 할 뿐, 데이터가 갖추어야 할 내부 논리나 제약 조건을 이해시키지 못하기 때문이다. 데이터 양을 늘려도 성능이 정체되는 이유는 학습의 목표 자체가 ‘유사성’에 머물러 있기 때문이다.
근거
SFT 환경에서 모델은 필드 하나가 틀린 JSON과 완벽한 JSON을 거의 동일한 수준의 손실(Loss)로 인식한다. 반면 GRPO는 보상 함수를 통해 ‘파싱 가능 여부’라는 절대적 기준을 직접 학습 목표로 삼는다.
“But looking like valid JSON and being valid JSON are different goals. SFT only ever chases the first one. The loss is measured token by token. A completion with one field typed wrong scores almost the same as a perfect one.”
이러한 차이는 실제 벤치마크에서 극명하게 나타난다. Qwen3-8B 모델을 GRPO로 학습시켰을 때, 특정 스키마 준수율이 62%에서 82%로 수직 상승하며 훨씬 거대한 모델인 GPT-4.1(58%)을 능가하는 결과를 보여주었다. 이는 모델의 크기보다 ‘무엇을 목적으로 최적화하느냐’가 특정 태스크의 신뢰도를 결정짓는 핵심임을 시사한다.
연결된 생각
- 20260611-reward-function-score-design-strategy — GRPO의 성공을 결정짓는 보상 함수의 설계 방식
- Small-Language-Models-for-Specialized-Tasks — 특정 규칙이 명확한 작업에서 SLM이 거대 모델을 이기는 메커니즘