팟캐스트에서 가장 인상 깊었던 통찰은 “verifiable reward를 만들 수만 있다면 이건 그냥 모델이 풀 수 있는 게임”이라는 대목이다. 2024년 GRPO 논문 이후, 이 원리는 코딩과 수학에서 성공을 거두었고, 이제 과학 영역으로 확장되고 있다.
이 원리의 힘은 단순하다. 검증 가능한 보상이 존재하는 도메인에서는 모델이 무한한 합성 데이터를 스스로 생성할 수 있다. 코딩(컴파일러 피드백), 수학(증명 검증기)에서 그랬듯이, 화학(분자 구조 검증), 생물학(유전자 발현 결과), 물리학(시뮬레이션 일치도)으로 확장되면, 모델은 스스로 학습할 수 있는 ‘게임 공간’을 갖게 된다.
Demis Hassabis가 언급한 world model(Genie, SIMA)의 비전도 같은 맥락이다. 현실 세계의 물리 법칙을 시뮬레이션할 수 있다면, 모든 과학적 실험을 가상 공간에서 무한히 반복할 수 있다. “시뮬레이션할 수 있다면 이해한 것”이라는 그의 말은, verifiable reward가 과학적 이해 자체를 대체할 수 있음을 암시한다.
(NVIDIA Nemotron의 하이브리드 아키텍처가 시사하는 또 다른 층위: 모델의 효율성이 높아질수록, 더 많은 도메인에서 verifiable reward 기반 학습이 가능해진다. Transformer vs Mamba의 하이브리드는 inference 비용을 낮춰 과학 시뮬레이션에 필요한 계산량을 극적으로 줄일 수 있다.)
근거
“verifiable reward를 만들 수만 있다면 이건 그냥 모델이 풀 수 있는 게임이다”
“시뮬레이션할 수 있다면 이해한 것이다” — Demis Hassabis
연결된 생각
- 20260606-science-discovery-automation-verifiable-reward — Verifiable Reward의 개념적 확장
- 20260606-ai-science-era-transition — 이 엔진이 가동되면서 과학의 해가 열리고 있음
- 20260512-self-play-science-loop — Self-play가 과학에서 어떻게 구현되는지
출처
- 📎 클리핑: 20260613-ep80-ko-transcript