하루치 arXiv 제출 논문에서 흥미로운 수렴이 보인다. Online Safety Monitoring(2607.02510)은 “alignment 훈련을 해도 불안전 출력은 발생한다”는 전제에서 출발해, 외부 verifier 신호를 임계값 alarm으로 바꾸는 배포 시점 실시간 모니터를 제안한다. LACUNA(2607.02513)는 이미 훈련된 모델에서 PII를 사후에 제거하는 unlearning의 정밀도를 평가한다. 둘 다 훈련 단계에서 안전을 “완성”하려는 시도를 사실상 포기하고, 배포 이후 계층에서 계속 교정하는 구조를 택했다.
이것은 소프트웨어 엔지니어링이 이미 걸어온 길이다. 배포 전 QA로 품질을 보장하려던 시대에서, 카나리 배포·관측성·롤백으로 운영 중에 품질을 관리하는 시대로 넘어왔듯이, AI 안전도 정적 보증(training-time guarantee)에서 동적 운영(runtime operation)으로 무게중심이 옮겨가고 있다. 안전이 모델의 속성이 아니라 모델을 감싼 시스템의 속성이 되는 것이다.
실무 함의는 분명하다. 에이전트를 운영하는 쪽의 경쟁력은 “더 잘 정렬된 모델을 고르는 것”보다 “verifier·모니터·교정 루프를 얼마나 촘촘히 두르는가”에서 갈린다. 이것은 하네스 엔지니어링의 안전 버전이다.
근거
배포 시점에 LLM 출력을 실시간으로 모니터링하는 방법 연구. 외부 verifier 신호를 임계값 기반 alarm으로 변환하는 간단한 실시간 모니터. alignment 훈련에도 불안전 출력이 발생하는 문제 대응.
연결된 생각
- 20260610-agent-observability-must-close-the-loop — 관측이 알림에서 끝나지 않고 수정 루프를 닫아야 한다는 같은 방향의 주장
- 20260613-ai-safety-as-competitive-moat — 런타임 안전 역량이 운영자의 경쟁 우위가 되는 이유
- 20260707-persistent-state-ai-control-distributed-attacks — 런타임 모니터링을 요구하는 위협 모델