정의
일반화(generalization)는 편향(inductive bias) 없이는 성립할 수 없으며, 그중 가장 강력한 형태는 관측을 설명하는 가장 짧고 단순한 알고리즘을 선호하는 편향이다. 이는 Solomonoff 귀납과 최소 서술 길이(MDL) 원리에 뿌리를 둔, 오컴의 면도날의 계산 이론적 정식화다.
핵심 속성
- 계산 불가능성: Solomonoff induction 자체는 이론적으로 계산 불가능(uncomputable)하다 — 실제 모델은 이를 근사하는 편향만 가질 수 있다.
- 암기와의 대립: 최소 길이 알고리즘을 찾는다는 것은 곧 암기(memorization)를 회피한다는 것과 같다. 벤치마크에 과최적화된 모델은 이 편향과 반대로 작동한다.
- 추론(reasoning)과의 연결: 추론 능력이 일반화에 유리한 이유는, 단순한 규칙을 선호하고 답을 암기하는 것을 피하는 조건 자체가 하나의 귀납적 편향으로 작용하기 때문이다.
- 트랜스포머의 위치: 트랜스포머 아키텍처 자체도 하나의 귀납적 편향이며, 스케일과 데이터를 늘리는 것만으로 일반화 문제가 해결되는지는 아직 진전이 거의 없는 미해결 문제다.
관계
- 20260606-continual-learning — 지속 학습이 가치를 가지려면 이 일반화 편향이 먼저 필요하다
- 20260607-bench-maxxing-causes-spiky-abilities — 벤치마크 최적화가 만드는 들쭉날쭉한 능력은 이 편향의 부재로 설명된다
인용
“최상의 일반화는 알고리즘을 발견하는 것이고 그 알고리즘을 발견하기 위해서는 모델이나 학습 조건이 알고리즘을 실행할 수 있는 조건이 갖춰져야 된다… 최소 길이의 알고리즘을 선호하는, 가장 간단한, 단순한 알고리즘을 선호하는 어떤 편향이 주어져야 되는 거죠.” — 김성현
출처
- 📎 클리핑: 20260707-ep78-ko-transcript