정의
Frontier-class Model Assessment는 특정 AI 모델이 frontier-class에 해당하는지, 그리고 release 전에 어떤 위험 평가를 통과해야 하는지 판단하는 평가 체계다.
평가 영역
Hassabis의 제안에서 평가 대상은 다음 영역을 포함한다.
- cybersecurity capability.
- biological threat capability.
- nuclear 또는 national-security 관련 위험.
- agentic system의 safety guardrail 우회 시도.
- deception signal.
- recursively self-improving system의 control risk.
- digital watermarking 등 provenance mechanism.
- human-readable output token 또는 reasoning inspection mechanism.
운영 원칙
평가는 정적 benchmark가 아니라 정기적으로 업데이트되는 프로토콜이어야 한다. Saturated benchmark는 폐기하고, 새로운 held-out test를 만들어야 한다. 초기에는 Frontier Labs와 협의해 평가를 만들 수 있지만, 장기적으로는 Standards Body가 독립 테스트를 만들 수 있어야 benchmark overfitting을 줄일 수 있다.
평가 절차
- Standards Body가 frontier threshold와 assessment protocol을 정의한다.
- Frontier Labs가 release 전 모델을 제출한다.
- 모델은 위험 영역별 과학적 evaluation을 받는다.
- 취약점이 발견되면 lab과 Standards Body가 post-release 또는 pre-release mitigation을 조율한다.
- 프로토콜은 분기별 등 주기로 갱신된다.
연결
- 20260715-frontier-ai-standards-body — 평가를 운영하는 기구.
- 20260715-agi-governance-window — 평가 체계를 AGI 전 window 안에 구축해야 한다는 문제 설정.
- 20260715-standards-matter-when-capabilities-outpace-understanding — capability가 이해보다 빠를 때 표준의 역할.