정의

모델이 배포 중에도 계속 가중치를 갱신하는 체제에서는 ‘학습 완료 후 배포 전’이라는 규제·정렬(alignment)의 검사 시점이 의미 있는 범주로 존재하지 않게 되며, 안전 감독이 단일 관문 심사에서 주기적 상시 감시로 이동한다는 관점.

핵심 속성

  • 전제 조건: 배포된 모델이 수백만 세션의 작업 결과를 매일 기반 모델에 반영한다.
  • 규제 범주의 소멸: 현행 AI 규제 제안 다수가 “학습 → 검사 → 배포”의 순서를 가정한다. 이 순서가 사라지면 사전 검사 체제는 낡은 형식으로 고착된다.
  • 대안 형식: 특정 순간의 관문 심사가 아니라 월간·분기 위험 점검(risk inspection). 의약품의 시판 후 감시, 항공기의 지속 감항성과 같은 계열.
  • 정렬 연구의 전환: 현행 기법 대부분은 ‘동결된 가중치가 배포 중 잘 작동하게 하는’ 문제를 푼다. 상시 갱신 상태에서 탈옥·기만적 페르소나를 막는 연구는 사실상 공백.
  • 교차 사용자 오염: 사용자 간 학습이 합쳐지면(agglomeration) 특정 사용자가 기반 모델에 백도어나 악의적 성향을 주입할 경로가 생긴다.
  • 인간 정렬 문제로의 수렴: 자기주도적으로 계속 변하는 주체를 가치 정렬 상태로 유지하는 문제 — 자녀 양육에 가까운 구조가 된다.
  • 자발적 출시 유예의 도태: 배포 자체가 학습 경로가 되면 안전을 위한 내부 보류 기간은 그만큼의 학습 손실이 된다. Anthropic이 Mythos를 2월부터 내부 사용하고 6월에 공개한 4개월 간격이 사례.
  • 다양성 증가: 현재 5개 미만의 주요 모델은 유사한 데이터로 학습돼 서로 닮았으나, 경험이 갈리면 서로 다른 정신이 출현한다(모드 붕괴의 완화).
  • 개인화 서빙의 규모 경제: 기업별 정보가 LoRA가 아닌 전체 가중치 갱신을 요구하면, DeepSeek V3급 희소 모델의 최적 추론 배치는 2,400 시퀀스 이상. 배치 1의 개인 사용자는 100배 이상의 효율 손실을 감수한다.
  • 미해결 쟁점: 사용자별 가중치 포크를 본 모델로 다시 병합하는 문제, 순차 의존성이 배칭을 방해할 가능성.

관계

인용

정부가 모델 제공자에 대해 어떤 형태의 안전 평가를 하고자 한다면, 학습이 끝난 뒤 배포가 시작되기 전의 특별한 순간을 지목하기보다 월간 또는 분기 위험 점검을 하는 편이 더 합리적일 것이다. 그 순간은 미래에 의미 있게 구별되는 범주가 아닐 것이기 때문이다.

나는 가중치가 끊임없이 갱신되는 상황에서도 AI 시스템이 탈옥에 무너지거나 기만적이거나 악한 페르소나로 변하지 않는다고 보장하는 문제에 대한 연구는 거의 알지 못한다.

출처

클리핑 · dwarkesh.com