정의
VLA(Vision-Language-Action)는 VLM(Vision-Language Model)에 행동(action) 출력을 추가하여 로봇이 시각과 언어 입력으로부터 직접 연속적인 물리적 행동을 생성하도록 설계된 모델 아키텍처이다. LLM 기반의 상식(World Knowledge)을 활용하여 다양한 환경과 태스크에 일반화된 로봇 제어를 목표로 한다.
핵심 속성
- System 1/2 구조: 느린 인지(High-level planning, System 2)와 빠른 행동 생성(Low-level control, System 1)이 분리되어 있음.
- Continuous Action 생성: Action은 이산 토큰이 아닌 연속적인 값이므로, Diffusion Transformer 또는 Flow Matching 기법을 사용하여 부드럽고 정밀한 동작을 생성.
- Pre-trained VLM 기반: 대규모 이미지-텍스트 데이터로 사전학습된 VLM(예: PaliGemma, SmolVLM) 위에 action expert(head)를 추가하는 전이학습 방식.
- 데이터 부족 문제: Action 데이터는 인터넷에 존재하지 않아 teleoperation 또는 시뮬레이션을 통해 수집해야 하며, 이는 현재 가장 큰 병목.
- Scaling Law 가능성: 데이터 양이 증가할수록 일반화 성능이 향상된다는 연구 결과가 초기 단계에서 확인됨.
관계
- LLM — 상위 개념: VLA는 LLM의 패러다임을 물리 세계로 확장
- VLM — 선행 모델: VLA는 VLM에 action을 추가한 형태
- Robot Foundation Model — 동등 개념: RFM을 구현하는 주요 수단
- Physical Intelligence — 목표 영역: VLA는 PI를 실현하는 핵심 기술
- Moravec’s Paradox — 이론적 배경: 물리적 지능의 독특한 어려움
인용
“VLA는 LLM에다가 vision encoder 붙이고 action 붙여서 만든 모델 … 요즘 모델들은 LLM에는 어떤 상식이 있습니다. World Knowledge라는 게 있어서 이 상식이라는 게 통한다.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript