정의
GRPO는 개별 데이터에 대한 정답 레이블(Label) 대신, 코드나 논리로 정의된 보상 함수(Reward Function)를 통해 모델을 최적화하는 강화 학습 알고리즘이다. DeepSeek-R1에서 대중화되었으며, 모델이 생성한 여러 후보 답변을 그룹 내에서 상대적으로 비교하여 더 높은 점수를 받은 답변의 확률을 높이는 방식으로 작동한다.
핵심 속성
- 그룹 상대 평가(Group Relative): 하나의 프롬프트에 대해 4~16개의 답변을 동시에 생성하고, 그룹 내 평균 점수보다 높은 답변을 강화한다.
- 보상 함수 기반 학습: 사람이 작성한 정답 데이터(SFT) 대신 ‘JSON 파싱 성공 여부’와 같은 프로그래밍적 검증 도구를 학습의 지표로 삼는다.
- 연산 집약적: 매 단계마다 여러 답변을 샘플링하고 보상을 계산해야 하므로 일반적인 미세 조정(SFT)보다 높은 컴퓨팅 자원(H200급 GPU 등)이 필요하다.
- 목표 지향적(Objective-driven): 토큰 유사도가 아닌 최종 결과물의 ‘정확성’ 자체를 목적 함수로 설정한다.
관계
- 20260611-sft-mimics-grpo-learns-rules — 대조: 패턴을 흉내 내는 SFT와 논리를 학습하는 GRPO의 차이
- DeepSeek-R1 — 상위개념: GRPO를 통해 추론 성능을 극대화한 기반 모델
- Structured-Output — 적용분야: GRPO가 가장 즉각적인 성능 향상을 보이는 영역
인용
“DeepSeek replaced all of it with one Python function that checks whether an answer is right. If you can define correctness via code, you do not need the rest. That is the idea behind GRPO.”