정의

하네스 엔지니어링은 AI 에이전트가 반복적으로 실수하는 지점을 발견했을 때, 그 실수를 재발하지 않도록 프롬프팅과 프로그래밍 도구를 결합한 검증·제어 체계를 설계하는 방법론이다. 이는 단순한 임시 지원(scaffolding)보다 강한 통제(harness)를 의미하며, 말의 안장이나 마구처럼 에이전트의 행동을 ‘조이는’ 역할을 한다.

핵심 속성

  • 목적: 에이전트의 실수 방지와 검증 자동화
  • 구성 요소: 프롬프트 설계(prompting) + 프로그래밍 기반 검증 도구(lint, test, formal verification)
  • 대상: 주로 코드 생성 AI 에이전트
  • 용어 유래: Mitchell Hashimoto의 ‘나의 AI 도입 여정’ 블로그 시리즈
  • 확장 가능성: 단순 코드 검증을 넘어 end-to-end 테스트, 자연어 명세서와 결합된 실행 가능한 명세로 발전 중

관계

인용

“에이전트가 실수를 하는 것을 발견할 때마다 시간을 들여 그 실수를 다시는 하게 만드는 해결책을 설계한다. … 프롬프팅이라는 것하고 실제 프로그래밍 도구를 통해서 에이전트가 나쁜 짓을 하는 거를 볼 때마다 다시는 그 짓을 못하게 하는 쪽으로 노력을 하고 있고, 에이전트가 좋은 거를 하고 있는지를 스스로 검증할 수 있게 하도록 어떤 하네스를 제공하고 있다.”

출처

클리핑 · youtube.com