LLM은 인터넷 전체 텍스트를 학습 데이터로 쓸 수 있었기에 급격한 성능 향상을 이뤘다. 그러나 로봇의 물리적 행동 데이터는 인터넷에 존재하지 않는다. 팔 관절의 각도, 촉각 정보, 힘의 크기 등은 인간이 직접 텔레오퍼레이션(원격 조종)을 해서 기록하거나 시뮬레이션 환경에서 생성해야 한다. 이 데이터 수집 과정은 엄청난 시간과 비용이 들며, 스케일 또한 LLM에 비해 훨씬 작다. 이것이 Physical AI 분야의 가장 근본적인 병목이다.
근거
팟캐스트에서 박종현은 “action이라는 데이터가 인터넷에 존재하지가 않아요”라고 명확히 지적한다. 각 관절 각도가 실수로 흐르는 데이터는 텍스트처럼 문서화되지 않았으며, 사람이 직접 로봇을 조작하면서 로깅해야만 얻을 수 있다. Tesla가 시급 50달러를 주고 텔레오퍼레이터를 고용했던 사례나, 1X가 로봇을 먼저 팔아서 데이터를 모으는 비즈니스 모델 등이 모두 이 문제를 해결하기 위한 시도다.
“LLM 같은 경우에는 텍스트라는 데이터, 혹은 이미지까지 포함… 가져와서 배우면 됩니다. 그런데 문제는 action이라는 거는 인터넷에 존재하지가 않아요.”
연결된 생각
- teleoperation-data-strategy — 데이터 부족을 해결하려는 여러 접근법(시뮬레이션, 커뮤니티 데이터, flywheel 모델)
- sim-to-real-gap — 시뮬레이션 데이터의 한계와 현실과의 차이
- llm-data-scaling-parallel — LLM의 데이터 스케일링 성공 사례와 로봇 분야의 차이점
출처
- 📎 클리핑: 20260613-ep98-ko-transcript