이 통찰은 프리트레이닝을 통해 이미 모델 내부에 희박하게 존재하는 추론 패턴이, RL의 비대칭적 강화 메커니즘에 의해 급격히 부상한다는 점을 발견한다. 단순히 ‘RL이 새로운 능력을 추가한다’는 기존 관점과 달리, RL은 잠재된 능력을 선택적으로 증폭시키는 ‘발굴자’ 역할을 한다.
근거
클리핑에서 김성현은 다음과 같이 설명한다: “추론할 확률이 굉장히 낮더라도 그 낮은 확률에 비해서 정답인 경우가 많으니까 그 정답에 대해서 더 부각되는 거죠. … 확률이 지수적으로 높아진다고 표현을 합니다. 기하급수적으로 늘어나는 것이죠”. 또한 “프리트레이닝을 통해서 굉장히 낮은 확률의 추론이지만 그 추론의 경로가 정답일 비율이 높기 때문에 확률이 급격하게 늘어난다”고 강조한다.
여기서 핵심은 프리트레이닝이 이미 모델에게 ‘추론할 수 있는 잠재력’을 부여했다는 점이다. 인터넷 포럼의 상호작용 데이터나 수학 문제 풀이 사례처럼 드물지만 존재하는 추론 패턴이 모델 파라미터에 새겨져 있다. RL은 이 패턴을 찾아내 강화할 뿐, 처음부터 창조하지 않는다.
연결된 생각
- 20260607-llm-rl-mechanism-pretraining — RL의 메커니즘과 조건을 정리한 개념 노트
- 20260607-pretraining-reduces-search-space — 프리트레이닝이 탐색 공간을 줄이는 근본 원리