VLA(Vision-Language-Action)가 LLM과 가장 근본적으로 다른 점은 pre-train 데이터의 가용성이다. LLM은 인터넷 전체 텍스트를 학습할 수 있었기 때문에 GPT-3 수준의 지식을 얻을 수 있었다. 하지만 로봇의 action 데이터는 인터넷에 존재하지 않는다. “안녕”과 “헬로” 사이에 중간값이 없는 텍스트 토큰과 달리, action은 연속적인 각도와 힘의 조합이므로 이를 생성하고 수집하는 것이 본질적으로 어렵다.
이 문제를 해결하기 위해 다양한 접근법이 등장하고 있다. 가장 직접적인 방법은 teleoperation(원격 조종)으로 사람이 로봇을 움직이며 데이터를 기록하는 것이다. 하지만 이는 확장성이 낮고(사람 1명당 로봇 1대), 인건비가 크며, 장시간 VR 작업은 멀미를 유발한다. Tesla가 시급 50달러에 텔레오퍼레이터를 고용했지만 장기적 해결책이 될 수 없었다.
대안으로 시뮬레이션(예: NVIDIA Isaac Sim, Cosmos world model)을 통한 데이터 증강이 주목받지만, sim-to-real gap(시뮬레이션과 현실의 차이)이 여전히 큰 장벽이다. 가장 혁신적인 접근은 1X의 NEO 로봇처럼 하드웨어를 먼저 판매하고 teleoperation 서비스를 제공하면서 실제 데이터를 flywheel 방식으로 축적하는 비즈니스 모델이다.
결국 VLA의 발전 속도는 이 action 데이터 병목을 얼마나 효율적으로 해결하느냐에 달려 있다. 이 문제를 푸는 스타트업이나 기술이 가장 큰 가치를 창출할 것이다.
근거
“LLM 같은 경우에는 텍스트라는 데이터, 혹은 이미지까지 포함을 하면 이 vision이라는 문제는 이미지라는 데이터가 인터넷에 널려 있어요. … 그런데 문제는 action이라는 거는 인터넷에 존재하지가 않아요.”
“Tesla … 시급을 50달러를 주고 고용을 했거든요. 그런데 지원 조건을 보면 키도 로봇이랑 비슷해야 되고요. 하루에 7시간 이상 10kg을 메고 걸을 수 있어야 된다.”
연결된 생각
- 20260606-vla-vision-language-action-robot-foundation-model — VLA의 정의와 데이터 문제의 근본 연결
- 20260606-simulation-to-real-gap-challenge — 시뮬레이션 데이터가 완벽하지 않은 이유
- 20260606-teleop-flywheel-strategy — 데이터 수집을 비즈니스 모델로 전환한 사례
출처
- 📎 클리핑: 20260613-ep98-ko-transcript