정의
VLA(Vision-Language-Action Model)는 비전(vision)과 언어(language) 입력을 받아 연속적인 물리적 행동(action)을 출력하는 end-to-end 모델이다. 기존의 rule-based 로보틱스 제어를 대체하여 비정형 환경에서 일반화된 조작 능력을 제공한다.
핵심 속성
- 입력: 이미지(단일/다중 시점) + 자연어 명령 + 로봇 상태(관절 각도, 손목 카메라 등)
- 출력: 연속적인 action value (관절 각도, 손 끝 좌표 등) — Discrete 토큰이 아닌 Continuous 값
- 구조: Vision-Language Model(VLM)에 Action Decoder(Diffusion Transformer 또는 Flow Matching)를 결합. VLM이 상황 인지(System 2), Action Decoder가 빠른 반응(System 1)을 담당.
- 학습 목표: 다양한 embodiment(몸체)와 task를 하나의 모델로 처리하는 Robot Foundation Model
- 데이터 특성: Action 데이터는 인터넷에 존재하지 않으므로 텔레오퍼레이션, 시뮬레이션, 로봇 배포를 통해 수집해야 함. 이는 LLM의 텍스트 스케일링보다 본질적으로 어려움.
관계
- 20260606-llm-scaling-paradigm — VLA는 LLM의 스케일링 법칙을 물리적 도메인으로 확장한 사례. 그러나 action 데이터 부재가 근본적 차이를 만듦.
- 20260606-moravec-paradox-physical-ai — VLA가 해결하려는 Physical Intelligence는 Cognitive Intelligence와 다른 진화적 기원을 가짐. 원래 더 어려운 문제였음.
- 20260607-vla-system-1-2-architecture — 대부분의 최신 VLA(GR00T, Helix, π0.5, Gemini Robotics)가 채택한 수렴 구조. 느린 인지와 빠른 행동의 분리.
인용
“Action이라는 데이터가 인터넷에 존재하지 않아서 학습할 게 없는 거죠. 그래서 scaling이 어려워요.” “텔레오퍼레이션은 스케일러블하지 않습니다. 한 사람당 하나, 로봇 하나 사람 하나당 하나.”