정의
VLA(Vision-Language-Action)는 로봇이 시각 정보와 자연어 명령을 입력받아 물리적 행동(action)을 직접 출력하는 end-to-end 학습 모델이다. 기존의 rule-based 제어나 별도의 인식·계획 모듈 조합과 달리, 하나의 신경망이 비정형적인 상황을 처리하며 범용 로봇 제어를 목표로 한다.
핵심 속성
- 구조: LLM(또는 VLM)에 vision encoder와 action head를 추가한 형태. 대부분의 최신 VLA는 System 1/2 구조를 채택 — 느린 인지(VLM)와 빠른 행동 생성(Diffusion Transformer 또는 Flow Matching)을 분리.
- 입력: 카메라 영상(여러 시점) + 자연어 명령(task description) + 로봇 상태(관절 각도 등).
- 출력: 연속적인 action value(관절 각도, 손목 좌표 등). discrete token 방식에서 continuous diffusion 기반으로 수렴.
- 데이터 의존성: 학습에 필요한 action 데이터는 인터넷에 존재하지 않아, teleoperation, 시뮬레이션, 로봇 배포를 통한 수집이 핵심 병목.
- 일반화: 동일한 모델로 여러 task와 embodiment를 처리하려는 Robot Foundation Model의 한 형태.
관계
- 20260603-physical-intelligence-different-dimension — Physical Intelligence의 구현 도구로서 VLA의 역할
- 20260603-action-data-bottleneck — VLA 발전을 제약하는 데이터 수집 문제
- 20260603-system1-system2-robot-architecture — VLA 모델 구조의 수렴 패턴 (System 1/2)
- LLM — VLA가 LLM의 scaling law와 상식(world knowledge)을 차용함
인용
“LLM에다가 vision encoder를 하나 붙여서 VLM을 만듭니다. … 거기다가 action을 하나를 더 추가를 하는 거예요. action을 더 추가를 해서 SmolVLA가 됩니다. 이렇게 되면 LLM에다가 양쪽에다가 눈 붙이고 행동 붙여서 만든 모델이 VLA입니다.”