스케일링 이후 시대의 신호
들어가며
2026년 6월 17일 오버나이트 연구 클리핑에서 포착된 가장 중요한 신호는 스케일링 법칙의 종말이 아니라, 그 의미의 근본적 재정의다. 이 가든 노트는 그 신호를 추적하고, 이것이 의미하는 바를 탐색한다.
신호 1: ‘더 많이’의 한계
- 추론 비용과 정확도의 역설은 “더 많은 연산 = 더 나은 결과” 공식이 더 이상 통하지 않음을 의미한다.
- 이는 단순한 효율성 문제가 아니라, 현재 아키텍처가 추론 과정에서 정보 손실을 일으키는 근본적 한계를 드러낸 신호다.
신호 2: ‘더 작게’의 가능성
- 3B 미만 모델의 약진은 “파라미터 수가 곧 성능” 이라는 공식을 깨뜨린다.
- 중요한 것은 데이터의 질과 학습 전략이 파라미터 수를 압도할 수 있다는 증거다.
신호 3: ‘더 넓게’의 허상
- 멀티모달에서의 감각 간 번역 한계는, 단순히 모달리티를 연결하는 것만으로는 진정한 이해에 도달할 수 없음을 시사한다.
종합: 조용한 전환
이 세 신호는 공통적으로 현재 패러다임의 정점을 가리킨다. 업계는 공개적으로 계속 발전을 강조하지만, 내부적으로는 차세대 접근법(World Model, Embodied AI)을 준비 중이라는 신호로 읽힌다.
생각해볼 점
- 만약 스케일링 법칙이 더 이상 유효하지 않다면, 다음 ‘큰 도약’은 어디서 올 것인가?
- 데이터 품질 경쟁이 시작된다면, 어떤 데이터가 ‘고품질’로 정의될 것인가?
- 이 전환기의 승자는 누가 될 것인가? (기존 빅테크? 데이터를 가진 자? 새로운 아키텍처를 제안하는 스타트업?)