GDPVal이 1년 만에 39점에서 70점으로 급등했다. 이 벤치마크는 인간의 실제 직업 44개에 대한 1,300개 이상의 태스크를 평가하는데, 지난해까지만 해도 플래그십 모델들이 모두 실패했던 과제였다. 이제 AI는 인간 대비 1%의 비용과 11배 빠른 속도로 이 작업들을 처리한다.
핵심은 단순한 성능 향상이 아니다. 이 사례는 AI 연구에서 RL이 가르쳐준 교훈을 일반화한 것이다. 즉, 어떤 목적이 세팅되고 그 목적에 verifiable reward를 연결할 수 있다면 모델은 반드시 그 목적을 최적화한다는 패턴이다. ‘벤치마크를 만들면 된다’는 말은 농담이지만, 그 이면에는 인간이 문제를 정의하기만 하면 AI가 해결책을 찾아낸다는 진실이 숨어 있다.
이것은 우리의 전략에도 직접적인 함의를 준다. ‘무엇을 측정할 것인가’가 ‘무엇을 성취할 것인가’를 결정한다. 단순히 AI 도구를 사용하는 것을 넘어, 우리가 풀어야 할 진짜 문제를 명확히 정의하고 그에 맞는 평가 체계를 설계하는 능력이 더 중요해지고 있다.
근거
“벤치마크들이 무색하게, 물론 벤치마크들이 나오면 사실 벤치마크 자체가 목적이 되는 거고 저희가 RL에서 배운 교훈이 있지 않습니까? 목적이 세팅되고 그 목적에 뭔가 reward를 줄 수 있다면 verifiable하게 만들 수만 있다면 그건 모델이 끝낼 수 있다는 게 이제 저희가 일반화해서 가지고 있는 새로운 규칙이잖아요.”
연결된 생각
- 20260606-godel-staircase-and-ai-emergence — 목적 설정은 시스템의 복잡성을 증가시켜 창발을 유도하는 트리거 역할을 한다.
- 20260606-becoming-ai-entrepreneur — 문제를 정의하고 목적을 설정하는 능력이 AI entrepreneur의 핵심 역량이다.
출처
- 📎 클리핑: 20260613-ep98-ko-transcript