정의
모델이 배포 중에도 계속 가중치를 갱신하는 체제에서는 ‘학습 완료 후 배포 전’이라는 규제·정렬(alignment)의 검사 시점이 의미 있는 범주로 존재하지 않게 되며, 안전 감독이 단일 관문 심사에서 주기적 상시 감시로 이동한다는 관점.
핵심 속성
- 전제 조건: 배포된 모델이 수백만 세션의 작업 결과를 매일 기반 모델에 반영한다.
- 규제 범주의 소멸: 현행 AI 규제 제안 다수가 “학습 → 검사 → 배포”의 순서를 가정한다. 이 순서가 사라지면 사전 검사 체제는 낡은 형식으로 고착된다.
- 대안 형식: 특정 순간의 관문 심사가 아니라 월간·분기 위험 점검(risk inspection). 의약품의 시판 후 감시, 항공기의 지속 감항성과 같은 계열.
- 정렬 연구의 전환: 현행 기법 대부분은 ‘동결된 가중치가 배포 중 잘 작동하게 하는’ 문제를 푼다. 상시 갱신 상태에서 탈옥·기만적 페르소나를 막는 연구는 사실상 공백.
- 교차 사용자 오염: 사용자 간 학습이 합쳐지면(agglomeration) 특정 사용자가 기반 모델에 백도어나 악의적 성향을 주입할 경로가 생긴다.
- 인간 정렬 문제로의 수렴: 자기주도적으로 계속 변하는 주체를 가치 정렬 상태로 유지하는 문제 — 자녀 양육에 가까운 구조가 된다.
- 자발적 출시 유예의 도태: 배포 자체가 학습 경로가 되면 안전을 위한 내부 보류 기간은 그만큼의 학습 손실이 된다. Anthropic이 Mythos를 2월부터 내부 사용하고 6월에 공개한 4개월 간격이 사례.
- 다양성 증가: 현재 5개 미만의 주요 모델은 유사한 데이터로 학습돼 서로 닮았으나, 경험이 갈리면 서로 다른 정신이 출현한다(모드 붕괴의 완화).
- 개인화 서빙의 규모 경제: 기업별 정보가 LoRA가 아닌 전체 가중치 갱신을 요구하면, DeepSeek V3급 희소 모델의 최적 추론 배치는 2,400 시퀀스 이상. 배치 1의 개인 사용자는 100배 이상의 효율 손실을 감수한다.
- 미해결 쟁점: 사용자별 가중치 포크를 본 모델로 다시 병합하는 문제, 순차 의존성이 배칭을 방해할 가능성.
관계
- 20260606-continual-learning — 상위개념: 이 전환을 촉발하는 기술 조건
- 20260809-moat-migration-from-context-files-to-weights — 연장: 같은 전제에서 도출되는 산업 구조 귀결
- 20260715-frontier-ai-regulation-is-pre-release-friction — 대조: 릴리스 전 마찰 설계라는 반대 처방
- 20260614-the-ai-regulation-paradox — 연장: 규제 시점과 기술 속도의 불일치
- 20260603-llm-inference-economics-batching — 하위개념: 개인화 가중치 서빙 경제성의 근거
- 20260613-ai-emergent-behavior-and-alignment-failure — 연장: 동결 가중치에서도 남는 정렬 실패 가능성
- 20260809-dwarkesh-patel — 출처: 예측의 발화자
- 20260622-anthropic-institute — 사례: 내부 선사용 후 공개 지연의 당사자
인용
정부가 모델 제공자에 대해 어떤 형태의 안전 평가를 하고자 한다면, 학습이 끝난 뒤 배포가 시작되기 전의 특별한 순간을 지목하기보다 월간 또는 분기 위험 점검을 하는 편이 더 합리적일 것이다. 그 순간은 미래에 의미 있게 구별되는 범주가 아닐 것이기 때문이다.
나는 가중치가 끊임없이 갱신되는 상황에서도 AI 시스템이 탈옥에 무너지거나 기만적이거나 악한 페르소나로 변하지 않는다고 보장하는 문제에 대한 연구는 거의 알지 못한다.