DemoPSD(2607.02502) 연구는 반직관적인 결과를 보고한다. On-policy self-distillation(OPSD)에서 teacher가 매 토큰마다 촘촘하게(dense) 감독 신호를 주면, 오히려 student의 성능이 떨어진다는 것이다. 저자들은 student와 teacher가 이미 동의(agreement)하는 지점까지 강제로 재확인시키는 신호가 학습을 방해한다고 본다. 해법은 disagreement가 큰 지점에만 감독을 집중하는 modulation이다.
처음 보는 모양이 아니다. 20260621-지식증류의역설에서 관찰한 것과 구조가 같다 — “완벽한 위키가 개발자를 코드에서 멀어지게 한다”는 관찰과 “촘촘한 teacher 신호가 student를 자기 경험에서 멀어지게 한다”는 관찰은 같은 형태다. 두 경우 다 이미 알고 있는 것까지 반복해서 덮는 감독은 학습자가 스스로 검증하는 힘을 갉아먹는다.
일반화하면: 감독은 격차(disagreement)가 있는 곳에만 집중해야 하며, 이미 맞는 곳까지 재확인시키면 학습자의 자기 신뢰 신호가 오염된다. 이는 20260602-on-policy-is-why-rl-generalizes-but-sft-memorizes가 말하는 on-policy 우위의 또 다른 버전이다 — 자기 경험에서 나온 신호만 학습에 반영되어야 일반화가 일어난다는 원칙.
근거
On-policy self-distillation(OPSD)에서 teacher의 dense token-level supervision이 오히려 성능을 저하시키는 문제를 발견. disagreement 기반 modulation으로 개선.
연결된 생각
- 20260621-지식증류의역설 — 같은 구조: 과도한 전달이 원천과의 직접 접촉을 차단한다
- 20260602-on-policy-is-why-rl-generalizes-but-sft-memorizes — 자기 경험 기반 신호만 학습에 반영돼야 한다는 원칙의 다른 사례
- 20260707-ai-safety-shifts-to-runtime-layer — 같은 클리핑의 다른 관찰: 정적 훈련보다 배포 후 교정이 중요해지는 흐름