정렬을 위한 메타-피드백 루프 설계
문제 정의
ai-intention-gap이 발생했을 때, AI 시스템은 스스로 이 간극을 감지하고 수정할 메커니즘이 부족하다. 기존의 피드백 시스템은 출력의 ‘정확성’만을 평가할 뿐, ‘의도와의 정합성’은 평가하지 않는다.
제안: 메타-피드백 루프
구조
메타-피드백 루프는 다음 세 가지 층위로 구성된다:
- 1차 피드백 (출력 평가): AI의 출력이 사용자의 명시적 요청과 일치하는가?
- 2차 피드백 (의도 정합성 평가): AI의 출력이 사용자의 실질적 의도와 일치하는가? (이를 위해 designing-intention-specification-language에서 제안한 ISL 활용)
- 3차 피드백 (메타-정합성 평가): AI의 의도 추론 과정 자체가 적절했는가? 즉, AI가 사용자의 의도를 추론하는 방식에 대한 메타-인지적 평가.
작동 예시
- 사용자: “이 보고서를 요약해줘” (표면 의도)
- AI: 요약문 출력 (1차 피드백: 통과)
- 메타-피드백 시스템: “사용자의 실질적 의도는 ‘핵심 수치 추출’이었으나, AI는 서술적 요약을 생성함” (2차 피드백: 실패)
- AI가 의도 추론 과정을 재검토하고, ISL 기반으로 의도를 재명세화 (3차 피드백 활성화)
- 수정된 출력 생성
함의
이 시스템은 단순히 AI의 출력 품질을 높이는 것을 넘어, AI가 자신의 인지 과정을 스스로 모니터링하고 수정하는 메타-인지 능력을 갖추도록 돕는다. 이는 alignment-problem의 장기적 해결 방향 중 하나이다.