지식 파이프라인을 구축하다 보면 쏟아지는 모든 문서를 자동으로 텍스트화하고 LLM에게 넘겨 처리하게 만들고 싶은 ‘완전 자동화’의 유혹에 빠지기 쉽다. 하지만 현실 세계의 데이터는 DRM이 걸려 있거나 복잡한 레이아웃을 가진 엣지 케이스로 가득하다.
근거
단순한 PDF 추출 실패 로그에서 우리는 시스템 설계의 가장 중요한 원칙을 엿볼 수 있다. 파싱 스크립트가 처리 불가능한 문서를 만났을 때 에러를 뿜으며 전체 파이프라인을 멈추는 대신, 명확한 상태 메시지를 남기고 인간에게 제어권을 넘겼다는 점이다.
[PDF 추출 실패 — 수동 처리 필요] 파일: /Users/hmkwon/Projects/0004_Wikis/inbox/pdfs/…
이는 무리하게 100% 자동화를 고집하는 것보다, 99%를 자동화하되 1%의 예외 상황에서 “나는 이것을 처리할 수 없습니다”라고 선언하는 시스템이 장기적으로 훨씬 더 높은 신뢰성을 가진다는 것을 증명한다. 모든 예외를 코드로 덮으려 하기보다 실패를 인정하고 인간을 훌륭한 폴백(Fallback) 모듈로 활용해야 한다.
연결된 생각
- 20260610-human-in-the-loop-fallback — 기계의 물리적/소프트웨어적 한계를 인정하고 인간을 시스템 파이프라인의 안전망으로 배치하는 것은 현실적인 AI 엔지니어링의 핵심이다.