챗봇은 틀려도 채팅방을 닫으면 그만이다. 하지만 에이전트는 파일을 지우고, 비용을 태우고, 코드를 망가뜨린다. 권한을 가진 소프트웨어가 되는 순간, 경쟁의 기준은 “얼마나 똑똑한가”에서 “얼마나 예측 가능하게 멈출 수 있는가”로 바뀐다.
근거
Cognac은 이를 자율주행에 비유한다.
차 안에서 운전 조언을 해주는 AI와 실제 핸들을 잡는 AI는 완전히 다른 제품이다. 전자는 똑똑하면 되지만 후자는 똑똑하면서도 예측 가능해야 하고, 멈춰야 할 때 멈춰야 하고, 위험한 선택을 스스로 거부해야 한다.
여기서 폐쇄형과 오픈소스의 갈림길이 생긴다. 폐쇄형은 중앙에서 가드레일을 걸고, 오픈소스는 그 책임을 사용자에게 넘긴다. 더 많은 자유는 더 큰 잘못된 실행의 비용을 동반한다. RTX Spark가 운영체제 수준에서 에이전트 울타리를 친 것도 같은 문제의식이다 — 똑똑한 비서를 들이되 집 전체를 내주지는 않는다.
연결된 생각
- 20260605-execution-rights-as-agent-moat — 안전한 실행은 실행권 해자의 핵심 조건
- 20260508-guardrails-defensive-ux-for-trust — 가드레일이 신뢰를 위한 방어적 설계라는 같은 논리