프리트레이닝이 기존 데이터를 잘 활용하는 것이라면, 포스트 트레이닝은 새로운 데이터를 창조하는 과정이다. 좋은 RL 레시피는 모델이 스스로 탐색하고 시행착오를 겪으며 일반화 가능한 패턴을 발견하도록 한다. 이는 인간의 교육에서도 마찬가지로, 모방을 넘어선 자기 주도적 학습이 진정한 능력 향상을 이끈다. 포스트 트레이닝 레시피의 우수성이 프런티어 기업의 핵심 경쟁력이 될 것이다. 특히 on-policy 접근은 모델의 실제 능력에 기반해 문제를 풀게 하여, off-policy 모방이 가져오는 일반화 실패를 방지한다.
근거
“포스트 트레이닝은 데이터를 창조한다는 느낌에 더 가깝거든요… 얼마나 좋은 레시피를 갖고 있는가가 아마 프런티어 기업들의 경쟁력이 될 겁니다.”
“결국 사람도 약간 비슷한 딜레마가 늘 있는 거죠… 스스로 행동하는 것을 통해서 경험을 얻을 수밖에 없다.”
연결된 생각
- 20260606-rl-unlocks-pretrained-reasoning — RL이 추론을 깨우는 구체적 메커니즘과 상호 보완적