자연어 벤치마크 점수로는 에이전트의 실제 한계를 파악하기 어렵다. 하지만 포켓몬과 같은 시각적 환경에서는 에이전트가 ‘세상을 어떻게 오해하고 있는지’가 생생하게 드러난다. 벽에 머리를 박거나 문을 반복해서 드나드는 등의 ‘우스꽝스러운 실패’는 시스템의 관찰 실패, 기억 실패, 복구 실패를 즉각적으로 진단할 수 있게 하는 가장 고품질의 데이터다. 에이전트의 지능을 평가하는 가장 빠른 방법은 그 실패를 시각적으로 확인하는 것이다.
근거
참가자들은 로그 백 줄보다 한 장의 스크린샷이 에이전트의 상태를 파악하는 데 훨씬 유용하다는 사실을 깨달았다. 시각적 환경에서의 실패는 버그를 선명하게 보여주는 렌즈 역할을 한다.
“웃긴 장면일수록 시스템 버그가 선명하게 보였다. … AI가 게임을 플레이하는 게 아니라, 우리가 AI가 세계를 오해하는 방식을 플레이하고 있었다.”
연결된 생각
- 20260612-agent-harness — 실패를 시각화하기 위한 필수 인프라.
- 20260612-short-action-loop-efficiency — 짧은 루프는 실패의 원인을 더 정밀하게 격리함.