팟캐스트에서 “데이터가 모델이다”라는 표현이 인상 깊었다. 아무리 아키텍처와 학습 방법이 공개되어도, 실제로 프런티어 성능을 내기 위해서는 데이터 정제, RL 인프라 운영, 하이퍼파라미터 설정 등 수많은 암묵지(tacit knowledge)가 필요하다. 이는 단순한 논문 복제가 아니라, 직접 경험해야만 알 수 있는 ‘dirty engineering’ 영역이다.
근거
팟캐스트는 “페이퍼에 깔끔하게 쓰이지 않는 굉장히 많은 암묵지 형태를 가지고 있다”며, 특히 데이터 정제와 RL 파이프라인에 대한 노하우가 경쟁력의 핵심이라고 언급했다. Nemotron 논문에서도 절반 이상이 데이터 제작에 할애된 점을 예시로 들었다. 또한 “모델은 제품이고 데이터는 모델이다”라는 격언을 인용하며, 데이터 품질이 모델 품질을 결정한다는 점을 강조했다.
연결된 생각
- 20260605-deepseek-open-source-strategy — DeepSeek이 공개한 레시피가 암묵지의 가치를 더 높였다 (대조)
- 20260605-agent-post-training-data-engineering — 에이전트 학습에 필요한 데이터 생성이 가장 큰 병목 (연장)