머신러닝 연구자들은 오랫동안 inductive bias를 없애는 방향으로 모델을 발전시켜 왔다고 말한다. 그런데 일반화 자체가 편향 없이는 불가능하다는 게 반전이다. 새 데이터를 봤을 때 무엇을 예측할지 정하려면 어떤 편향이든 있어야 하고, 그중 가장 강력한 형태가 “가장 짧고 단순한 알고리즘을 선호하는” 편향, 즉 오컴의 면도날의 계산 이론적 버전이다. 그래서 “편향을 없앤다”는 말은 사실 “나쁜 편향을 좋은 편향으로 바꾼다”는 뜻에 가깝다.
근거
“일반화라는 건 inductive bias가 없으면 가능할 수가 없어요… 최소 길이의 알고리즘을 선호하는, 가장 간단한, 단순한 알고리즘을 선호하는 어떤 편향이 주어져야 되는 거죠.” — 김성현
이 편향이 왜 중요한지는 추론(reasoning)이 일반화에 강한 이유와도 맞닿아 있다. 추론은 답을 암기하는 지름길을 피하고 단순한 규칙을 재구성하도록 강제하는 조건 자체가 하나의 편향이기 때문이다. 반대로 벤치마크를 타겟으로 학습된 모델이 보이는 “1만 시간 공부한 학생인데 100시간 감각의 학생은 아닌” 어처구니없는 실수는, 이 편향이 없는 채로 특정 환경만 암기했을 때 나타나는 증상이다.
연결된 생각
- 20260707-solomonoff-induction-minimal-algorithm-generalization — 이 통찰의 이론적 배경(Solomonoff 귀납, MDL)
- 20260607-bench-maxxing-causes-spiky-abilities — 편향 부재가 만드는 구체적 증상(들쭉날쭉한 능력)
출처
- 📎 클리핑: 20260707-ep78-ko-transcript