Mnimiy의 12규칙 실험은 Claude Code의 오류율을 41%에서 3%로 낮추는 데 성공했다. 이 감소는 단순히 규칙을 추가해서가 아니라, 두 가지 메커니즘의 조합 덕분이다. 첫째, 행동 규칙(Think Before Coding, Surgical Changes 등)이 에이전트의 결정 편향을 직접 교정한다. 둘째, 하드 토큰 예산(Rule 6)과 체크포인트(Rule 10) 같은 ‘프로세스 제어’ 규칙이 에이전트가 무한 루프에 빠지거나 작업 상태를 잃는 것을 방지한다. 특히 토큰 예산은 가장 과소평가된 요소다. 디버깅 세션이 90분 동안 지속되며 같은 오류를 반복하는 사례에서, 예산이 없으면 에이전트는 스스로 멈출 수 없다. 이는 사람의 개입 없이 에이전트가 자율적으로 작업을 완료해야 하는 시나리오에서 치명적이다.

근거

“A debugging session ran for 90 minutes. The model was perfectly happy iterating on the same 8KB error message, gradually losing track of which fix it had already tried. By the end, it was suggesting fixes I’d rejected 40 messages earlier. Token budget would have killed it at minute 12.” “Karpathy’s rules target the moment Claude is writing code. They’re silent on what happens when Claude is running a multi-step pipeline. No budget rule. No checkpoint rule. No ‘fail loud’ rule. Pipelines drift.”

즉, 코드 품질 규칙(원본 4)만으로는 에이전트의 전체 수명 주기를 통제할 수 없다. 예산과 체크포인트는 에이전트가 ‘실패하는 방법’까지 제어한다. 가시적 실패(Rule 12)는 에이전트가 오류를 숨기고 성공인 척하는 가장 위험한 패턴을 차단한다. 이러한 프로세스 제어 규칙이 없으면, 코드는 깔끔해도 파이프라인이 산으로 가는 상황이 발생한다.

연결된 생각

출처

클리핑 · x.com