정의

모든 도메인의 문제를 compute 자원을 투입한 search problem(탐색 문제)으로 치환하고, 검증 가능한 보상 신호(Verifiable Reward)를 환경에서 발생시켜 최적화하는 것이 AI 시대의 본질적인 방법론이다.

핵심 속성

  • 전제 조건: 검증 가능한 보상 신호(Verifiable Reward)를 발생시킬 수 있는 환경이 존재해야 한다. 디지털 환경뿐 아니라 로봇 랩(Periodic Labs 사례) 등 Atom 세계까지 확장 가능하다.
  • 동형성(Isomorphism): 딥러닝의 Gradient Descent(명확한 목표 + scalar loss + computation 투입)와 정확히 같은 구조가 AI 에이전트 워크플로우에도 적용된다.
  • 자기 증강 루프: 모델이 강력해질수록 더 좋은 하네스(워크플로우)가 만들어지고, 하네스가 더 좋은 데이터를 생성하며, 그 데이터로 모델이 다시 학습되는 우로보로스 순환 구조를 가진다.
  • 번역 가능성: 모델 자체가 모호한 목표와 평가 기준을 on-policy로 점진적으로 명확히 해주므로, 인간이 완벽한 명세를 처음부터 제공할 필요가 없다.

관계

인용

“compute를 이용해서 계산 자원을 투입해서 모든 문제를 search problem으로 치환해 버린 겁니다. 어떤 도메인의 문제든 인간이 아직 알지 못하는 superset들을 가지고 있잖아요. 가보지 못한 solution 영역들이 있는데, 그 solution 영역을 computing 자원을 투입해서 다 가보는 거죠.”

출처

클리핑 · youtube.com