Figure Helix가 4분 동안 autonomous하게 주방에서 일하는 데모는 인상적이지만, “고급 텔레오퍼레이션과 다를 바 없다”는 지적은 날카롭다. 짧은 데모는 cherry-pick이 가능하고, 제품 수준의 신뢰성을 입증하지 못한다. LLM 시대에 우리가 “데모에 속지 말라”는 교훈을 얻었듯, 로봇 분야에서도 동일한 경계가 필요하다.
Physical Intelligence π0.5가 “새로운 집에 가서도 설거지를 한다”는 데모는 한 시간 동안 진행되었고, 중간에 물건을 떨어뜨리기도 했다. 이는 현실적인 평가다. 반면 Boston Dynamics Atlas의 CES 데모는 “똑같은 동작만 반복”하는, 지능이 필요 없는 쇼였다. 핵심은 “4분 이상의 연속 autonomous 동작”과 “다양한 비정형 상황에 대한 대응력”이 진정한 성능 지표라는 점이다.
로봇 스타트업을 평가할 때, 어떤 환경에서 얼마나 긴 시간 동안 autonomous하게 작동하는지, 그리고 teleoperation 비율이 얼마나 되는지를 반드시 확인해야 한다. 1X NEO가 “teleop으로 가사 일을 해준다”는 비즈니스 모델은 정직하지만, 투자자 입장에서는 진짜 autonomous 수준을 투명하게 공개하는 회사에 주목할 필요가 있다.
근거
“저희는 이렇게 얘기합니다. 4분 정도의 데모는 고급 텔레오퍼레이션이랑 다를 바가 없다. 그냥 저희가 몇 백 번 텔레오퍼레이션을 해서 저대로 동작 데이터를 딴 다음에 그대로 학습을 시키면 사실은 크게 다를 바가 없다”
“비슷한 집이 비슷하게 생겼으면 가서 다 할 수 있다. 이 정도 generalization 우리 달성했다, 이런 걸 보여주는 데모였다고 생각을 합니다.”
연결된 생각
- 20260606-vla-vision-language-action-model — VLA 모델의 평가 기준과 데이터 수집 방식
- sim-to-real-gap — 시뮬레이션 데모와 실제 환경의 차이
출처
- 📎 클리핑: 20260613-ep98-ko-transcript