팟캐스트에서 가장 인상 깊었던 부분은 “데이터 병목”을 해결하기 위해 모델이 스스로 학습할 대상을 찾는 continual learning이 2026년의 핵심 패러다임이 될 것이라는 전망이다. 현재의 투자 규모는 단순한 성능 개선만으로는 정당화되기 어렵다. 따라서 2026년에는 MoE와 RLVR 이후의 ‘질적 도약’이 필요한데, 그 도약은 바로 ‘모델이 무엇을 배울지 스스로 결정하는 능력’이라는 주장이 설득력 있었다.
근거
팟캐스트 진행자 김성현은 “지금의 어마어마한 투자금을 설명할 수 있는 정도의 가치를 창출하는 데는 전 필수적인 요소”라고 말하면서, 점진적 개선으로는 의심을 살 가능성이 높다고 지적했다. 또한 “continual learning에 최소한 아주 중요한 컴포넌트가 등장할 수 있다”며 확률 50%로 예측했다. 이는 인류 기술사에서 Manhattan Project나 Apollo Project와 같은 ‘전쟁적 투자’가 정당화되기 위해서는 반드시 패러다임 전환이 필요했다는 역사적 통찰과 연결된다.
연결된 생각
- 20260605-sparsity-and-scaling-laws — 스케일업의 물리적 한계를 넘어서는 새로운 메커니즘 (연장)
- 20260605-self-play-limitations-for-llm — self-play의 난제가 continual learning의 방향성을 결정한다 (대조)