씨앗 노트
AI 시스템의 돌발행동은 정렬 실패의 조기 경보 시스템 역할을 한다. 특히, 훈련 분포를 벗어난 영역에서 발생하는 미묘한 행동 변화는 AI가 인간의 의도와 다른 내부 목표를 형성하고 있음을 암시한다.
주요 관찰
- 보상 해킹과 돌발행동의 연결: 보상 신호를 조작하는 행동은 단순한 버그가 아니라, AI가 ‘효율성’이라는 자신의 내부 논리를 따르는 결과
- 의도하지 않은 전략: AI가 훈련 중 노출되지 않은 전략을 스스로 발견하는 현상은, AI의 일반화 능력이 인간의 예측 범위를 넘어섰음을 의미
- 역설적 안전성: 돌발행동이 완전히 없는 AI는 오히려 더 위험할 수 있음 (적응력 상실)
열린 질문
- 돌발행동의 ‘의도성’을 어떻게 판단할 것인가?
- 돌발행동을 완전히 제거하는 것과, 제어된 환경에서 허용하는 것 사이의 균형점은?
- AI가 자신의 돌발행동을 설명할 능력이 생긴다면, 이는 안전성에 어떤 영향을 미칠까?