VLA 모델의 성공은 데이터 스케일링에 달려 있지만, action 데이터는 LLM의 텍스트 데이터와 달리 인터넷에 존재하지 않는다. 이것이 Physical AI 분야가 직면한 가장 근본적인 병목이다.
로봇의 각 관절 각도나 손 끝 좌표 같은 연속적인 action 데이터는 사람이 직접 로봇을 조종(teleoperation)하거나 시뮬레이터를 통해 생성해야 한다. 텔레오퍼레이션은 한 사람당 하나의 로봇만 다룰 수 있어 확장성이 극히 낮고, 장시간 VR 작업은 피로와 멀미를 유발한다. 시뮬레이션은 대량 데이터를 생성할 수 있지만, 현실과의 차이(sim-to-real gap)로 인해 학습된 정책이 실제 환경에서 실패하는 경우가 많다.
이 문제를 해결하기 위한 다양한 접근이 등장하고 있다. 1X는 로봇을 먼저 판매한 뒤 원격으로 텔레오퍼레이션 서비스를 제공하는 플라이휠 모델을 구축했고, NVIDIA는 Cosmos world model을 이용해 시뮬레이션 데이터를 증강한다. HuggingFace의 LeRobot은 오픈소스 하드웨어와 커뮤니티 데이터 수집을 통해 데이터 파이프라인을 민주화하려 한다.
데이터 병목이 해소되지 않으면 VLA의 일반화 능력은 제한적일 수밖에 없다. 하지만 LLM의 사례가 증명하듯, 일단 스케일링이 가능해지면 창발적 현상이 나타날 가능성도 높다.
근거
“action이라는 데이터가 실제로 이런 식으로 생겼거든요. … 이런 움직임 데이터가, 이러한 action 데이터가 인터넷에 존재하지 않아서 학습할 게 없는 거죠.”
“텔레옵으로 혹은 다섯 손가락이라는 게 필요하냐 … 데이터가 scalable하지가 않아요. 한 사람당 하나, 로봇 하나 사람 하나당 하나.”
연결된 생각
- VLA 모델 — 이 병목이 VLA 모델의 발전 속도를 결정함
- Physical Intelligence — 데이터 문제가 Physical Intelligence 구현의 현실적 한계
- Sim-to-Real Gap — 시뮬레이션 데이터의 한계를 설명하는 개념
출처
- 📎 클리핑: 20260613-ep98-ko-transcript