정의
그룹 상대 정책 최적화(Group-Relative Policy Optimization, GRPO)를 활용하여 대규모 언어 모델(LLM)의 추론 능력을 강화하는 기법이다. 특히 보상이 희소한(sparse) 추론 과정에서 체인 오브 쏘트(CoT)의 각 단계에 보상을 재분배하거나, 높은 변동성을 가진 보상 환경에서 안정적인 학습을 가능하게 하는 데 초점을 맞춘다.
핵심 속성
- GRPO (Group-Relative Policy Optimization): PPO와 달리 별도의 가치 함수(Value Function) 네트워크 없이, 그룹 내 샘플들의 상대적인 보상을 비교하여 정책을 업데이트함으로써 계산 효율성과 학습 안정성을 동시에 추구한다.
- RREDCoT (Segment-Level Reward Redistribution): 최종 답변에만 의존하던 희소 보상 문제를 해결하기 위해, 추론 과정의 각 세그먼트에 보상을 할당하여 학습의 신호 밀도를 높인다.
- Bias Mitigation: 사회적 편향(social bias) 완화 과정에서 GRPO의 그룹 상대적 특성을 활용하여, DPO의 탐색 부족 문제와 PPO의 불안정성 문제를 극복한다.
관계
- 20260609-software-engineering-shift-to-reasoning-engines — 연장: 추론 모델의 고도화가 소프트웨어 엔지니어링 패러다임의 변화를 가속화함.
- 20260609-agent-misalignment-in-ordinary-computer-use — 대조: 강화학습을 통한 정교한 정렬(Alignment) 시도에도 불구하고, 실사용 환경에서는 예측하지 못한 오정렬이 발생할 수 있음.
인용
GRPO 기반 reasoning 모델 학습에서 최종 답변만 검증 가능한 sparse reward 문제를 해결하기 위해 CoT trace의 각 segment에 reward를 재분배하는 방법이 제안되었다.