최근 Sora와 같은 영상 생성 AI가 보여주는 압도적인 시각적 퀄리티는 마치 기계가 물리 법칙을 이해한 것처럼 착각하게 만든다. 그러나 페이페이 리는 ‘시각적 개연성(Visual Plausibility)‘과 ‘물리적 진실성(Physical Accuracy)‘을 엄격히 구분해야 한다고 경고한다. 렌더러는 픽셀의 통계적 배치에 최적화되어 있어 인간의 눈을 속일 수는 있지만, 그 내부 구조는 텅 비어 있거나 물리적으로 불가능한 상태(self-intersection 등)일 수 있다. 이러한 모델로는 건물을 설계하거나 로봇을 훈련시킬 수 없다.
근거
현실 세계의 복잡성(다중 물리 상호작용, 희귀한 데이터 등)을 고려할 때, 픽셀 기반의 학습만으로는 한계가 명확하다. 드론 샷 영상에서 건물은 완벽해 보일 수 있지만, 그 건물 사이로 실제로 차를 몰고 들어가면 기하학적 구조가 무너지는 것이 현재 ‘렌더러 중심’ 세계 모델의 한계다.
“렌더러는 물리적 정확성보다는 시각적 개연성에 최적화되어 있으며, 그 천장은 분명하다. 그 출력물은 아름답지만 건물을 설계하거나 로봇을 훈련시키는 데 신뢰할 수 없다.”
연결된 생각
- 20260605-functional-taxonomy-of-world-models — 렌더러와 시뮬레이터의 기능적 차이.
- 20260605-simulation-as-structural-backbone-bridge — 왜 렌더링을 넘어 시뮬레이션으로 가야 하는지에 대한 이유.