정의

계산 자원(compute)을 투입해 어떤 도메인의 문제든 탐색(search) 문제로 치환하는 패러다임. 인간이 아직 가보지 못한 solution space를 컴퓨팅으로 전수 탐색하고, 정답이면 마킹해 manifold를 만들고, 그 학습 결과를 모델로 되가져와 도메인 지식을 획득한다.

핵심 속성

  • 본질적 귀결: 문제는 결국 “보상 신호를 발생시킬 수 있는 환경이 있느냐 없느냐”로 환원됨
  • 전제 조건: non-verifiable을 verifiable로 전환할 수 있는 환경 + 모두가 가진 compute power
  • 근본 동인: 모델이 강력해지면서 동시에 저렴해지는 것
  • 최적화 동형성: gradient descent(20줄 이내의 단순 알고리즘)에 compute를 투입해 optimum으로 이동하는 것과 같은 구조
  • 번역 능력: 핵심은 “안 될 것 같은 문제”를 search 문제로 번역하는 일

관계

인용

compute를 이용해서 계산 자원을 투입해서 모든 문제를 search problem으로 치환해 버린 겁니다.

출처

클리핑 · youtu.be