정의
OpenAI가 GPT-5 발표와 함께 공개한 벤치마크로, 약 44개 실질 직업군에 걸친 1,300~1,500개 task를 evaluation set으로 만들어 “모델이 인간의 실제 직업적 일을 얼마나 잘하는가”를 측정한다. 점수의 급상승은 인간 고유로 여겨지던 지적 노동이 빠르게 commoditize되고 있음을 보여주는 지표다.
핵심 속성
- 점수 도약: GPT-5.1에서 약 39점 → GPT-5.2에서 70점으로 급상승. 1년 전 “이거 풀면 AGI”라 불리던 벤치마크가 무색해짐.
- 비용·속도 우위: 사람에게 같은 일을 맡길 때 추정 비용의 1%(사실상 전기세)만 들고, 처리 속도는 약 11배 빠름.
- 벤치마크 역설: verifiable reward를 설정할 수 있으면 모델이 끝낸다는 RL 일반화 규칙 때문에, “벤치마크를 만들면 곧 풀린다”는 순서가 뒤바뀐 패턴이 반복됨.
- Tier 구조: Tier 1을 넘어 더 난이도 높은 Tier 2 문제로 진입 중.
관계
- 20260602-rl-amplifies-latent-reasoning-in-llm — verifiable reward로 풀리는 RL 메커니즘이 점수 급상승의 배경
- 20260603-watt-is-the-new-unit-of-intelligence — 비용이 전기세로 수렴한다는 관점과 연결
- 20260603-metr-time-horizon-doubling — 같은 에피소드에서 함께 다룬 능력 측정 지표
인용
“사람에게 저 일을 처리하는 데 주었을 거라고 추정되던 비용의 1%밖에 들지 않고 그야말로 전기세밖에 안 든 거죠. 그리고 처리하는 속도는 무려 11배나 빨랐다.”