정의
VLA(Vision-Language-Action) 모델은 시각적 관찰(Vision)과 자연어 명령(Language)을 입력받아 로봇의 연속적인 운동 명령(Action)을 출력하는 end-to-end 신경망 구조다. 대부분의 VLA는 사전 학습된 VLM(Vision-Language Model)을 기반으로 하여, 행동 생성 모듈(action expert)을 결합함으로써 로봇이 비정형 상황에서 일반화된 작업을 수행할 수 있도록 한다.
핵심 속성
- 구조적 수렴 — System 1/2 분리: 느린 인지-추론 모듈(System 2, VLM 기반, ~10Hz)과 빠른 행동 생성 모듈(System 1, Diffusion Transformer 기반, ~200Hz)로 분리되어 있다. 일부 모델(Sharpa CraftNet, Figure Helix)은 더 빠른 반사 수준의 System 0(촉각 처리)까지 추가한다.
- Continuous Action 표현: 이산 토큰(discrete token) 대신 확산 모델(Diffusion/Flow Matching)을 사용하여 연속적인 action value를 생성한다. 이전 RT-1/OpenVLA의 이산 토큰 방식에서 비롯된 동작의 뚝뚝 끊김 문제를 해결한다.
- 데이터 병목: action 데이터는 인터넷에 존재하지 않으며, 텔레오퍼레이션(teleoperation)이나 시뮬레이션(simulation)을 통해 별도로 수집해야 한다. 이로 인해 LLM 수준의 pre-train scaling이 어렵다.
- LLM 상식의 활용: VLM 기반으로 제작되므로 인터넷 스케일에서 학습된 world knowledge(예: 컵의 일반적 형태, 물체의 용도)를 행동 결정에 활용할 수 있다. 이는 기존 rule-based 로봇과의 핵심적 차이점이다.
관계
- llm-scaling-law — 상위개념: VLA도 데이터 scaling에 따라 성능이 향상됨이 실험적으로 관찰됨
- robot-foundation-model — 동등: VLA는 Robot Foundation Model(RFM)을 구현하는 주요 수단
- moravec-paradox — 이론적 배경: Physical Intelligence의 어려움을 설명하는 역설
- sim-to-real-gap — 도전과제: 시뮬레이션 데이터의 현실 적용 한계
인용
“모든 VLA는 거의 완전히 똑같이 생겼다. … 수렴 진화를 했다. 첫 번째 포인트는 System 1, 2 구조, 두 번째 포인트는 continuous한 action을 내뱉는다는 것”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript