VLA가 LLM처럼 scaling으로 똑똑해질 것이라는 낙관에는 결정적 함정이 있다. LLM의 텍스트와 VLM의 이미지는 인터넷에 널려 있어 가져와 학습하면 됐지만, action 데이터 — 로봇 각 관절의 각도가 시간에 따라 흘러가는 값 — 는 인터넷에 존재하지 않는다. 학습할 데이터 자체가 없는 것이다.
근거
action이라는 거는 인터넷에 존재하지가 않아요. (…) 이런 움직임 데이터가 (…) 인터넷에 존재하지 않아서 학습할 게 없는 거죠. 그래서 scaling이 어려워요.
가장 단순한 대안은 teleoperation(원격 조종 후 로깅)이지만 scalable하지 않다. 로봇 하나에 사람 하나가 붙어 VR을 끼고 조종하는데, 2시간이면 얼굴이 아프고 4시간이면 멀미가 난다. Tesla는 시급 50달러에 “키가 로봇과 비슷하고 10kg을 메고 7시간 걸을 수 있는” 사람을 고용해 데이터 공장을 운영했을 정도다. 인터넷 스케일의 텍스트와는 비교 불가능한 수집 비용이다. 그래서 시뮬레이션(NVIDIA Cosmos)과 sim-to-real gap 극복이 핵심 연구 전선이 된다.
연결된 생각
- 20260603-vla-vision-language-action — VLA의 구조와 정의
- 20260603-verifiable-reward-conquers-each-domain — 데이터/보상이 있는 도메인만 정복된다