모델의 진정한 성능은 정해진 등산로(벤치마크)에서 측정되는 것이 아니라, 일반화의 정글(예상치 못한 사용 맥락)에서 드러난다. Andrej Karpathy가 강조했듯, 벤치마크는 ‘해킹’될 수 있지만, 직접 대화하며 느끼는 ‘분위기(Vibe)‘는 속일 수 없다. Gemini 3의 놀라운 Generative UI 능력이나 HWP 파일 인식과 같은 기능은 기존 벤치마크로는 포착되지 않았던 능력이다.
근거
“등산로를 명백히 벗어나 일반화의 정글 어딘가에 있을 때 이런 의도하지 않은 순간들에서 모델의 본질을 가장 잘 파악할 수 있습니다.”
이는 모델 평가의 패러다임 전환을 요구한다. 단순히 점수에 집착하기보다, 사용자가 직접 다양한 시나리오에서 모델과 상호작용하며 ‘될 거다’라는 직관을 키우는 것이 더 실용적이다. 실제로 제미니 3가 출시되자마자 SVG, Voxel, 라이브 코딩을 ‘원샷’으로 생성해내는 능력은 기존 벤치마크로는 절대 측정할 수 없었던 창의적이고 유연한 능력이다.
연결된 생각
- 20260605-generative-ui-patterns — 벤치마크 너머의 실제 능력을 보여주는 사례.
- 20260605-benchmark-limitations — 벤치마크가 포착하지 못하는 AI 능력의 영역.
출처
- 📎 클리핑: 20260613-ep77-ko-transcript