정의
VLA(Vision-Language-Action) 모델은 로봇이 시각 정보와 자연어 명령을 이해하고, 그에 따른 물리적 행동을 end-to-end로 생성하는 인공지능 모델이다. 기존의 rule-based 제어나 개별 task별 전문 모델을 대체하는 Robot Foundation Model의 핵심 아키텍처로 자리잡았다.
핵심 속성
- 입력: 시각(카메라), 언어(자연어 명령), 로봇 상태(관절 각도, 힘 등)
- 출력: 연속적인 행동(action) 값 — 관절 각도, 손목 위치 등
- 아키텍처 구조: 대부분 VLM(Vision-Language Model)에 action expert(Flow Matching 또는 Diffusion Transformer)를 결합한 형태. 최근 System 1(빠른 행동)/System 2(느린 인지) 이분 구조로 수렴.
- 데이터 요구사항: 인터넷에 존재하지 않는 액션 데이터가 필요하므로 텔레오퍼레이션, 시뮬레이션, 또는 배포된 로봇에서 수집해야 함.
- 스케일링 특성: 데이터 양이 증가할수록 성능이 향상되는 scaling law가 관찰됨(LLM과 유사). 다만 데이터 확보가 주요 병목.
관계
- vlm-model — VLM은 VLA의 상위 개념으로, vision+language 처리 담당. VLA는 여기에 action 출력을 추가.
- physical-ai-definition — Physical AI는 end-to-end 학습 기반의 물리적 지능을 의미하며, VLA는 그 구현 수단.
- moravec-paradox — VLA가 해결하려는 물리적 작업이 왜 어려운지 설명하는 인지과학적 개념.
- robot-foundation-model — VLA는 Robot Foundation Model의 대표적 형태.
- teleoperation-data-collection — VLA 학습에 필요한 액션 데이터 수집 방법.
인용
“LLM에다가 vision encoder를 하나 붙여서 VLM을 만듭니다… 거기다가 action을 하나를 더 추가를 하는 거예요. 이렇게 되면 LLM에다가 양쪽에다가 눈 붙이고 행동 붙여서 만든 모델이 VLA입니다.”
“모델들이 딱 까서 보면 다 비슷하게 생겼어요. 첫 번째 포인트는 System 1, 2 구조를 가지고 있어요.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript