비디오 이해는 프레임 분석이 아니라 이벤트 청킹이다
기존 접근의 한계
대부분의 비디오 이해 모델은 프레임 단위로 처리하여 RNN이나 3D CNN으로 시간적 정보를 통합한다. 이는 모든 프레임이 동등하게 중요하다는 가정에 기반한다. 하지만 인간의 지각은 그렇지 않다.
인간의 이벤트 청킹(Event Chunking)
인지과학 연구에 따르면, 인간은 연속적인 비디오 스트림을 의미 있는 이벤트 단위로 자동으로 분할(chunking)한다. 예를 들어 “커피를 내리는” 비디오는 “원두 갈기”, “물 끓이기”, “필터에 부우기” 등의 이벤트로 분할되어 기억된다.
M3의 계층적 시간적 인코딩
MiniMax M3는 이 인지 과정을 모방한다:
- 프레임 수준: 미세한 움직임과 디테일 포착
- 샷 수준: 카메라 전환과 연속적인 액션 단위
- 장면 수준: 내러티브 구조와 인과관계
통찰: 시간적 추상화의 필요성
이 접근이 중요한 이유는 시간적 추상화(Temporal Abstraction) 가 비디오 이해의 핵심이기 때문이다. 개별 프레임의 픽셀 변화는 노이즈에 가깝지만, 이벤트 단위의 변화는 의미 있는 정보를 담고 있다.
M3의 혁신은 이 시간적 추상화를 계산적으로 구현한 데 있다. 앞으로의 비디오 AI는 더 정교한 이벤트 경계 탐지와 계층적 이벤트 구조 학습으로 발전할 것이다.