개요
Anthropic 산하의 연구·정책 조직. AI가 AI 개발을 가속하는 추세와 그 함의(특히 완전한 재귀적 자기개선)를 실증 데이터로 분석하고, 프런티어 AI 개발의 ‘검증 가능한 감속·일시정지’ 체제를 설계하는 것을 목표로 한다.
핵심 정보
- 유형: AI 안전·거버넌스 연구 기관 (Anthropic 내부)
- 대표 산출물: “When AI builds itself” (2026.6) — 공개 벤치마크 + 미공개 내부 데이터로 AI 개발 가속을 입증
- 저자: Marina Favaro, Jack Clark 공동 집필 (Santi Ruiz 편집 지원)
- 정책 입장: 검증 가능한 상호 감속이 가능하다면 Anthropic도 감속·일시정지 의향. 단, 일방적 일시정지는 선두만 바꿀 뿐 효과가 적다고 봄
- 다루는 난제: 훈련 실행은 미사일 격납고보다 은닉이 쉽고 입력이 범용이라, 탐지(detectability)조차 다른 기술의 검증(verifiability)보다 어렵다는 점
주요 발언 / 기여
우리는 세계가 프런티어 AI 개발을 늦추거나 일시적으로 멈출 ‘선택지’를 갖는 것이 좋다고 믿는다 — 사회 구조와 정렬 연구가 기술 발전을 따라잡을 수 있도록.
관계
- 20260622-recursive-self-improvement — 이 기관이 정의·측정하는 핵심 현상
- 20260606-claude-code — 측정 대상이 된 자기개선의 도구적 출발점