정의

빈티지 이론은 AI 모델의 knowledge cutoff 시점을 데이터셋의 ‘수확 연도(Vintage)‘로 간주하여, pre-training과 post-training 사이의 선순환을 통해 scaling law가 계속 유효함을 설명하는 개념이다. 이는 데이터 고갈론이 틀렸으며, 모델 성능이 여전히 지수적으로 개선되고 있음을 주장한다.

핵심 속성

  • Knowledge Cutoff: 모델 학습에 사용된 데이터의 최신 시점. 예: Gemini 2.5와 3.0 모두 2025년 1월 cutoff → 같은 vintage에서 진화.
  • Pre-training 데이터셋의 에너지 준위: 사용자 의도가 담긴 프롬프트와 피드백이 새로운 학습 데이터를 생성하여 데이터셋의 질을 지속적으로 높임.
  • Post-training 피드백 루프: 사용자 상호작용(예: AI Studio, Antigravity)을 통해 얻은 고밀도 데이터가 pre-training 데이터셋으로 재투입되어 모델이 더 발전함.
  • Vintage 간 델타: 2.5에서 3.0으로의 성능 차이가 지금까지 관측된 것 중 가장 큼 → 아직 한계가 보이지 않음.

관계

인용

“지금 2.5, 3.0 다요. 2025년 1월 vintage인 거죠. … 같은 vintage에서 2.5가 희생되고 거기서 계속 무언가가 진행된 산출물이라는 생각이 듭니다.”

출처

클리핑 · youtube.com