정의
모델 개발의 빈티지 이론은 AI 모델의 성능 향상을 포도 수확에 비유한 개념으로, 동일한 시점에 수집된 데이터셋(빈티지)을 기반으로 여러 세대의 모델이 파생되며, 이 과정에서 생성된 고밀도 사용자 상호작용 데이터가 다시 차기 빈티지의 원료가 되는 순환 구조를 설명한다.
핵심 속성
- 지식 차단(Knowledge Cutoff): 모델의 학습 데이터 수확 시점을 나타내는 지표. 동일한 빈티지 내에서 여러 모델이 파생된다.
- 빈티지 내 파생: 예: Gemini 2.5와 3.0은 동일한 2025년 1월 빈티지에서 파생된 모델로, post-training 개선만으로도 성능 도약이 가능함을 입증.
- 데이터 에너지 밀도: 사용자가 직접 입력하는 프롬프트는 웹 페이지에 비해 단위 토큰당 정보 에너지 밀도가 훨씬 높음. 이는 Post-training 데이터의 핵심 자원.
- 순환 선순환: Pre-training 데이터셋 → 모델 학습 → 서비스 배포 → 사용자 상호작용 → 고품질 상호작용 데이터 → 다시 Pre-training 데이터셋으로 환류.
관계
- 20260605-scaling-law-debunked — 상위개념: 빈티지 이론은 Scaling Law의 지속 가능성을 설명하는 하위 프레임워크.
- 20260603-post-training-battlefield — 연장: Post-training이 무한한 개선 여지를 제공함을 빈티지 이론이 구조화.
- 20260605-karpathy-vibe-check — 대조: Vibe Check는 빈티지 이론이 포착하지 못하는 사용자 경험적 차원의 평가 방법.
인용
“보시면 Gemini 2.5가 나올 때 knowledge cutoff가 2025년 1월이었어요. 굉장히 up-to-date한 그런 데이터셋을 가지고 training을 한 건데 이번에 3.0 나온 것도 보면 knowledge cutoff가 똑같아요. 얘기인즉슨 같은 vintage에서 2.5가 희생되고 거기서 계속 무언가가 진행된 산출물이라는 생각이 듭니다.”
출처
- 📎 클리핑: 20260613-ep77-ko-transcript