정의
VLA(Vision-Language-Action)는 대규모 언어 모델(LLM)을 기반으로 시각 정보와 언어 지시를 입력받아 로봇의 연속적인 움직임(action)을 직접 출력하는 범용 로봇 제어 모델이다. 기존의 rule-based 또는 task-specific 로봇 제어와 달리, end-to-end 학습을 통해 비정형 상황을 처리할 수 있는 Physical Intelligence의 핵심 아키텍처로 주목받고 있다.
핵심 속성
- System 1/2/0 구조: 느린 인지(System 2: VLM 기반 상황 인식)와 빠른 반응(System 1/0: Diffusion 기반 action 생성)을 분리. 일부 모델(Sharpa CraftNet, Figure Helix)은 촉각(System 0)을 별도 경로로 추가 분리.
- Continuous Action 생성: LLM의 discrete token 예측 방식 대신, Diffusion 또는 Flow Matching을 사용하여 연속적인 관절 각도 값을 생성. 이를 통해 기존 RT-1, OpenVLA 대비 더 부드럽고 정밀한 동작 구현.
- LLM 기반 World Knowledge: 거대 언어 모델이 인터넷 스케일 데이터를 통해 학습한 “상식”을 활용. 예: “컵”의 일반적 형태를 이해하여 생소한 디자인의 컵도 집을 수 있음.
- Cross-embodiment 학습: 다양한 로봇 몸체(팔, 휴머노이드, 손가락 수 등)에서 수집된 데이터를 통합 학습하여, 다른 몸체에도 적용 가능한 일반화 능력 확보.
관계
- 20260605-llm-foundation-model — 상위 개념: LLM의 scaling law와 구조적 원리를 계승
- 20260603-physical-intelligence-company — 상위 개념: VLA는 Physical Intelligence를 구현하는 주요 수단
- 20260605-robot-foundation-model — 동의어 거의 동일한 개념으로 사용됨
- 20260605-moravec-paradox — 배경 개념: VLA가 해결하려는 Physical Intelligence가 Cognitive Intelligence와 다른 이유를 설명
인용
“VLA는 LLM에다가 vision encoder를 붙여 VLM을 만들고, 거기에 action을 추가한 구조다. 대부분의 VLA는 거의 다 이렇게 만들어진다.” — 박종현, ep84
출처
- 📎 클리핑: 20260613-ep98-ko-transcript