Ilya Sutskever가 인터뷰 마지막에 강조한 ‘연구 취향(Taste)‘은 단순한 감각적 선호가 아니다. 이는 데이터 효율적인 일반화를 가능하게 하는 귀납적 편향(Inductive Bias)에 대한 안목, 즉 ‘어떤 방향으로 연구해야 가장 적은 데이터로 가장 깊은 통찰을 얻을 수 있는가’를 판단하는 능력이다.
근거
현재 머신러닝은 귀납적 편향을 계속 제거해오는 방향으로 발전해왔다. 하지만 일반화는 귀납적 편향 없이는 불가능하다 — 새로운 데이터에 대해 예측을 하려면 어떤 종류의 편향이 필수적이기 때문이다. 인간의 일반화 능력은 ‘패턴을 발견하고 요약하여 원리를 만드는 편향’에서 나온다.
“일반화라는 건 inductive bias가 없으면 가능할 수가 없어요. 인간은 패턴을 발견하는 능력이 있잖아요. 어떤 패턴을 발견하고 그걸 요약해서 원리를 만드는 편향이 있죠.”
Noam Brown이 Ilya Sutskever와의 식사 중 ‘thinking model’에 대한 보상(인정)을 받고 그 방향을 확신하게 된 일화는, 연구 취향이 단순한 주관이 아니라 수많은 경험과 실패를 통해 형성된 ‘방향 감각’임을 보여준다. 좋은 취향은 오컴의 면도날처럼 가장 단순한 알고리즘을 선호하는 편향이며, 이것이 데이터 효율적인 일반화의 핵심이다.
연결된 생각
- 20260605-pre-training-scaling-limit-post-training-paradigm — 연장: 연구 취향이 스케일링 패러다임의 전환을 판단하는 기준이 되는 방식
- occams-razor-and-minimal-description-length — 상위개념: 최소 설명 길이 원칙과 일반화의 관계
출처
- 📎 클리핑: 20260613-ep98-ko-transcript