정의
LLM에서 강화 학습(RL)은 프리트레이닝을 통해 희박하게 존재하는 추론 패턴을 비대칭적 강화 메커니즘으로 증폭시켜, 모델이 스스로 일반화 가능한 문제 해결 능력을 발현하게 만드는 포스트 트레이닝 방법론이다.
핵심 속성
- On-Policy 필수성: 모델이 직접 행동(토큰 생성)하고 보상을 받아야 일반화가 발생한다. 전문가 데이터(Off-Policy)를 사용하면 모델의 실제 능력과 괴리가 생겨 오버피팅이나 할루시네이션이 유발된다.
- 비대칭적 강화: 프리트레이닝에서 추론 생성 확률은 낮지만, 추론했을 때 정답일 확률이 높아 보상 신호가 불균형하게 강화된다. 이로 인해 추론 패턴이 지수적으로 빠르게 부상한다.
- 정확한 피드백의 중요성: 일반화 가능한 추론 패턴은 정답 피드백이 정확할수록 상대적인 강화를 더 크게 받는다. 부정확한 피드백은 찍기(guessing) 행동을 강화해 일반화를 저해한다.
- 모델 역량 내 문제 해결: 모델이 풀 수 있는 연산 범위 내에서 문제를 제시해야 일반화가 가능하다. 모델이 풀 수 없는 문제는 암기(오버피팅)로 이어진다.
관계
- 20260607-pretraining-reduces-search-space — 프리트레이닝이 탐색 공간을 극적으로 축소하는 개념 (상위 개념)
- 20260607-rl-uncovers-latent-reasoning — RL이 잠재된 추론 능력을 발현시키는 과정 (연장)
- 20260607-on-policy-learning-is-human — On-Policy 학습의 인간적 의미 (대조/비유)
인용
“추론을 생성할 확률이 있고 추론했을 때 답이 맞을 확률이 있습니다. 추론을 생성하지 않을 확률이 있습니다. 그리고 추론을 하지 않고 답이 맞을 확률이 있습니다. … 추론을 한 경우에 좀 더 주목을 하는 거죠. 그때 답이 맞을 확률이 더 높으니까요.”
“모델에게 모델이 풀 수 있는 문제를 줘야 한다. 그리고 on-policy여야 합니다.”