정의
VLA(Vision-Language-Action)는 VLM(Vision-Language Model)에 행동(action) 출력을 추가하여 로봇이 시각과 언어 명령을 통해 물리적 동작을 수행할 수 있게 하는 일종의 Robot Foundation Model이다. VLA는 기존의 task-specific 로보틱스 제어 방식을 대체하여, 하나의 모델이 다양한 몸체와 환경에서 일반화된 물리적 작업을 수행하는 것을 목표로 한다.
핵심 속성
- 기반 구조: LLM을 기본으로 vision encoder를 붙인 VLM에 action decoder를 추가. 대부분의 최신 VLA는 System 1(빠른 반응)과 System 2(느린 인지) 구조로 수렴.
- Action 표현: 연속적(continuous)인 action 값을 출력. 초기 모델(RT-1, OpenVLA)은 discrete 토큰을 사용했지만, 현재는 diffusion model 또는 flow matching을 통해 부드러운 동작을 생성.
- 데이터 의존성: LLM과 달리 action 데이터는 인터넷에 존재하지 않음. teleoperation, 시뮬레이션, 커뮤니티 수집 등으로 데이터를 확보해야 함.
- 일반화 범위: in-distribution task에서는 거의 완벽, out-of-distribution 환경에서도 일부 성공. 스케일링에 따라 GPT-2 수준에서 GPT-3 수준으로 발전 중.
관계
- 20260606-llm-scaling-law-analogy — LLM의 scaling law를 VLA에도 적용하려는 시도와 그 한계 (데이터 부족)
- 20260606-moravec-paradox-physical-intelligence-hard — VLA가 해결하려는 Physical Intelligence의 본질적 어려움 설명
- 20260606-system1-system2-robot-control — VLA 모델이 채택한 인지-행동 분리 구조
- 20260606-action-data-is-bottleneck — VLA 발전의 핵심 병목인 action 데이터 수집 문제
- 20260606-simulation-to-real-gap — NVIDIA Cosmos와 같은 시뮬레이션 데이터 증강 접근법
인용
“action이라는 거는 인터넷에 존재하지가 않아요. … 그래서 scaling이 어려워요. 여기가 첫 번째 문제고, 그럼 어떻게 해야 되지라고 하면 가장 간단한 방법은 당연히 teleoperation이에요.”
출처
- 📎 클리핑: 20260613-ep98-ko-transcript