정의
AI Scaling Law는 pre-training 단계에서 데이터·연산량·모델 크기의 스케일링이 여전히 유효하며, post-training 영역에서도 새로운 개선 여지가 지속적으로 발견되고 있다. 대중적으로 알려진 “pre-training 고원론”과 달리, Gemini 3는 pre-training과 post-training 모두에서 도약을 보여주며 scaling law의 연속성을 입증했다.
핵심 속성
- 데이터 고갈론 반박: 인터넷 고품질 데이터의 한계가 예상되었으나, 모델의 정제된 데이터셋과 유저 상호작용 데이터(앙꼬 데이터)가 지속적으로 pre-training 데이터를 증강함.
- Vintage(빈티지) 이론: 같은 knowledge cutoff(2025년 1월)에서 Gemini 2.5와 3.0이 파생된 것은 하나의 ‘수확연도’ 내에서도 점진적 진보가 가능함을 시사함.
- Post-training의 Greenfield: pre-training 이후의 보상 모델링, RLHF, synthetic data 생성 등의 post-training 영역은 아직 최적화 여지가 크며, 이것이 전체 성능 향상의 주요 동력임.
- 가속화 주기: pre-training 개선 → post-training 데이터 증강 → 다시 pre-training 데이터 품질 향상 → 모델 능력 상승의 선순환이 작동 중.
관계
- 20260607-unlearn-learn-paradigm — 하위개념 (unlearn-learn 프레임워크가 이 선순환의 일부를 설명)
- 20260606-ori-ol-vinyals — 발언자 (Oriol Vinyals의 “아직 한계 보이지 않는다” 발언)
- 20260606-gpt-5-1-codex-max — 대조 (OpenAI의 대응 모델)
- 20260606-antigravity — 연장 (Agentic 도구가 모델 능력의 harness로 작동)
인용
“pre-training과 post-training 모두를 개선한 것이다. AI scaling law는 끝났다는 대중적인 믿음과는 달리 도약이 있었다. 2.5에서 3.0 사이의 델타, 그 차이는 지금까지 본 것 중에 가장 크다. 아직 한계가 보이지 않는다.” — Oriol Vinyals, Google DeepMind (podcast에서 인용)
출처
- 📎 클리핑: 20260613-ep77-ko-transcript