우리는 종종 더 강력한 능력을 갖춘 완벽한 AI 모델이 복잡한 작업을 단번에 끝내주기를 기대한다. 그러나 현실 세계나 게임처럼 예기치 않은 변수(지나가는 NPC, 갑작스러운 대화창, 장애물 등)가 실시간으로 발생하는 동적 환경에서는 프롬프트를 통해 부여된 거창한 장기 계획이 무용지물이 되기 일쑤다.
포켓몬 에이전트 해커톤의 사례는 이를 명확히 보여준다. “북쪽으로 가서 상점에 들어가라”는 긴 명령은 한 칸만 어긋나도 치명적인 실패로 이어졌다. 결국 문제를 해결한 것은 모델의 지능(IQ) 향상이 아니라, 두 칸 걷고 멈춰서 화면을 다시 확인하게 만드는 ‘시스템적 절제’였다. 시각적 맥락(스크린샷)을 통한 즉각적이고 짧은 피드백 루프 없이는 아무리 훌륭한 추론 엔진도 맹인의 질주와 다를 바 없다. 지능을 과신하기보다 관찰의 해상도와 피드백의 빈도를 높이는 하네스 설계가 자율 에이전트 공학의 진짜 코어다.
근거
“우리는 더 똑똑한 프롬프트를 원했는데, 실제로 필요했던 건 더 짧은 액션 리스트였다. … 누군가는 장기 추론보다 어려운 건 두 칸 걷고 멈추는 절제였다고 했다.”
연결된 생각
- 20260610-agent-harness — 에이전트의 충돌을 방지하고 상태를 점검하게 해주는 필수 프레임워크 설계 원칙.
- llms-need-feedback-loops — LLM이 환각과 오류를 교정하기 위해서는 환경과의 상호작용 피드백이 필수적이다.