정의
VLA(Vision-Language-Action)는 로봇이 비전(Vision)과 언어(Language) 입력을 직접 받아 행동(Action)을 출력하는 엔드-투-엔드(end-to-end) 모델이다. 기존의 룰 기반 제어 로직을 대체하며, Physical AI의 핵심 구성 요소로 자리잡고 있다.
핵심 속성
- System 1/2/0 아키텍처: 느린 인지 추론(System 2)과 빠른 반사적 행동 생성(System 1)이 분리되어 동작한다. 촉각과 같은 초고속 반응이 필요한 경우 System 0 계층이 추가된다.
- Continuous Action 생성: 이산 토큰(discrete token) 대신 확산(Diffusion) 또는 Flow Matching 기반의 연속적인 행동 값을 출력하여 부드럽고 자연스러운 동작을 구현한다.
- Cross-Embodiment: 특정 로봇 하드웨어에 국한되지 않고, 다양한 몸체에 적용 가능한 범용 모델(Robot Foundation Model)을 지향한다.
- VLM 기반 확장: 사전 학습된 VLM(Vision-Language Model)을 기반으로 Action Expert 헤드를 추가하는 방식으로 구축되며, LLM이 가진 월드 지식(World Knowledge)을 활용할 수 있다.
관계
- physical-intelligence — VLA는 물리적 지능(Physical Intelligence)을 구현하기 위한 가장 대표적인 방법론이다.
- llm-scaling-law — VLA의 성능도 데이터양에 따라 향상되는 스케일링 법칙을 따르는 것이 관찰되고 있다.
- moravec-paradox — 인간에게 쉬운 물리적 작업이 VLA에게 어려운 이유를 설명하는 이론적 배경이다.
- 20260606-action-data-scarcity — VLA의 가장 큰 진입 장벽은 인터넷에 존재하지 않는 고품질 행동 데이터의 부재이다.
인용
“결국 LLM을 기반으로 얘네들이 거의 다 만들어져 있거든요. LLM에는 어떤 상식이 있습니다. World Knowledge라는 게 있어서 이 상식이라는 게 통한다.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript