정의
강화 학습 기반 추론 모델링은 LLM이 사전 학습(Pre-training) 단계에서 습득한 잠재적 지식을 바탕으로, 스스로 사고의 연쇄(Chain of Thought)를 생성하고 시행착오를 통해 최적의 문제 해결 경로를 탐색하도록 유도하는 포스트 트레이닝(Post-training) 방법론이다.
핵심 속성
- On-Policy 학습: 모델이 자신의 현재 정책(Policy)에 따라 직접 행동(응답 생성)하고 그 결과에 대해 보상을 받음으로써, 외부 전문가의 가이드를 모방하는 방식(Off-Policy)의 한계를 극복함.
- 연산량 분산(Compute Distribution): 단일 토큰 생성에 필요한 연산량을 여러 토큰의 사고 과정으로 분산시켜, 모델의 파라미터 규모를 뛰어넘는 복잡한 알고리즘적 추론을 가능케 함.
- 보상 구조(Reward Structure): 추론 과정의 내용보다는 최종 결과(정답 여부)에 집중하여 보상을 제공함으로써, 모델이 스스로 가장 효율적인 추론 패턴을 창발하도록 유도함.
- Credit Assignment Problem: 수많은 추론 단계 중 어떤 단계가 정답 도출에 결정적이었는지를 식별하는 문제로, 보상이 희소할수록(Sparse Reward) 학습 난이도가 급상승함.
관계
- 20260605-cot-as-computation-distribution-for-algorithm-learning — 하위개념: 추론 과정이 알고리즘 학습으로 이어지는 메커니즘
- 20260605-on-policy-rl-transcends-human-imitation — 연장: 모방을 넘어선 지능의 구현 방법
- SFT — 대조: 전문가의 정답을 그대로 복사하는 지도 학습 방식과의 차이
인용
“강화 학습은 정답을 맞혔을 때 정답이 나올 때까지 했던 행동들의 확률을 높이는 것이다. 이 비대칭적인 상황에서 추론을 생성했을 때 답이 맞을 확률이 높다면, 그 추론 패턴은 기하급수적으로 강화된다.”