에이전트 개발에서 가장 흔한 착각은 더 강력한 LLM이 모든 문제를 해결할 것이라는 믿음이다. 하지만 실제 복잡한 환경에서 에이전트가 실패하는 이유는 추론 능력이 부족해서가 아니라, 자신이 처한 상황을 ‘오해’하기 때문이다. 텍스트 로그나 수치화된 데이터(RAM 상태 등)보다 시각적 정보(스크린샷)가 훨씬 더 강력한 맥락을 제공한다는 사실은 에이전트에게 ‘지능’보다 ‘감각(Eyes)‘을 달아주는 하네스 설계가 우선되어야 함을 시사한다.
근거
포켓몬 해커톤 참가자들은 숫자 상태값만으로는 울타리나 NPC 같은 환경적 제약을 이해하지 못한다는 것을 발견했다. “스크린샷 한 장이 로그 백 줄보다 낫다”는 말은 에이전트의 관찰 가능성(Observability)이 데이터의 양이 아닌 질과 직관성에 있음을 보여준다.
에이전트가 멍청한 줄 알았는데, 사실 우리가 눈을 안 달아준 거였다. 스크린샷 한 장이 로그 백 줄보다 낫다. 숫자 상태는 필요하지만, 게임의 진짜 맥락은 화면 위에서 드러났다.
연결된 생각
- 20260611-agent-harness-infrastructure — 하네스 인프라가 관찰 가능성을 구현하는 물리적 토대가 됨
- 20260611-meticulous-verification-loops — 정밀한 관찰은 결국 짧고 반복적인 실행 루프를 통해 완성됨