본 논문에서는 범용 물리적 지능을 향해 단일 아키텍처 내에 구현형 인지, 작업 계획, 수정, 포인팅(pointing)에 이르는 포괄적인 구현형 추론 능력을 통합한 통합 구현형 기반 모델(EFM)인 Embodied-R1.5를 소개합니다. 핵심 능력의 데이터 커버리지를 대폭 확장하는 3가지 자동화된 데이터 구축 파이프라인을 활용하여, 150억 토큰 이상의 대규모 데이터 시스템을 구축하고 이질적인 작업 간의 충돌을 완화하기 위한 멀티태스크 균형 강화학습(RL) 레시피를 설계했습니다. 또한, 단일 모델이 장기 수평(long-horizon) 작업에 대해 자율적으로 실행하고 스스로 수정할 수 있게 하는 Planner-Grounder-Corrector (PGC) 폐루프(closed-loop) 프레임워크를 도입했습니다. 80억(8B) 파라미터만으로도 Embodied-R1.5는 24개 구현형 비전-언어 모델(VLM) 벤치마크 중 16개에서 최첨단(SOTA) 성능을 달성하여 Gemini-Robotics-ER-1.5 및 GPT-5.4와 같은 최신 모델을 능가했습니다. 내재화된 구현형 능력 덕분에 Embodied-R1.5는 소량의 데이터만으로 비전-언어-액션(VLA) 모델로 파인튜닝될 수 있으며, 4개의 인기 있는 조작(manipulation) 벤치마크 제품군에서 $\pi_{0.5}$와 같은 최신 VLA 모델보다 우수한 성능을 보였습니다. 또한 광범위한 제로샷(zero-shot) 실제 로봇 실험을 수행하여 명령어 수행, 어포던스 그라운딩(affordance grounding), 관절형 객체 조작, 장기 수평 복잡 작업에서의 성능을 검증함으로써 물리적 세계에 대한 강력한 일반화 능력을 입증했습니다. 모델 가중치, 데이터셋, 학습 코드 및 구현형 작업에 맞춤화된 평가 프레임워크인 EmbodiedEvalKit을 오픈 소스로 공개하여 향후 EFM 연구를 촉진하고자 합니다.
비전-언어-행동(VLA) 모델은 장면을 묘사하고 언어로 추론할 수 있지만, 주변의 밀집된 3D 세계에 행동을 그라운딩하는 데는 여전히 어려움을 겪습니다. 기존 접근 방식은 정책이 해당 특징을 사용한다는 것을 보장하는 목적 함수 없이 동결된 3D 파운데이션 모델에서 특징을 주입하거나, 밀집된 공간 신호를 제공하지 않는 희소한 박스 및 맵 손실로 기하학을 제한합니다. 우리는 주행하는 밀집된 3D 세계를 재구성하도록 지도 학습된 최초의 비전-언어-행동 모델인 VLGA를 소개합니다. VLGA는 비전, 언어, 행동과 함께 기하학을 네 번째 모달리티로 도입하며, 이는 라이다(LiDAR)에 대한 픽셀별 포인트맵 회귀 손실에 의해 감독되는 전담 전문가를 통해 구현됩니다. 각각 오픈 루프 및 클로즈드 루프 평가를 위해 도전적인 nuScenes 및 Bench2Drive 데이터셋에서 수행된 광범위한 실험은 대응하는 VLA 방법들에 대한 VLGA의 우수성을 보여줍니다. 특히, 오픈 루프 nuScenes에서 VLGA는 에고 상태(ego status)가 없는 VLA 방법 중 최신 성능(SOTA)을 기록했으며, 가장 낮은 L2(평균 0.50m) 및 3초 충돌률(0.18%)을 달성했습니다. 클로즈드 루프 Bench2Drive에서 VLGA는 79.08이라는 최신 주행 점수를 달성하여 가장 강력한 이전 VLA 대비 +0.71의 향상을 보였으며, 비슷한 수준의 효율성과 편안성을 유지했습니다.
본 연구는 Vision-Language-Action(VLA) 학습에 Gromov-Wasserstein 관점을 취한다. 목표는 action 표현의 관계적 기하(relational geometry)를 VL 임베딩의 의미적 기하(semantic geometry)와 호환되게 만드는 것이다. 그러나 도메인 간 수학적 이질성 때문에 이러한 정렬은 쉽지 않다. 비전-언어의 의미 공간은 위상적으로 선형이고 등방성(isotropic)인 반면, 로봇 action의 물리적 매니폴드(manifold)는 비유클리드(non-Euclidean)이며 이방성(anisotropic)이다. 서로 분리된 메트릭(metric) 구조는 직접 회귀(regression)를 ill-posed하게 만든다. 이 비호환성을 해소하기 위해 본 연구는 LAST(Lie-algebraic Action Space Tokenizer)를 제안한다. LAST는 action 공간을 재구성하여 2단계 변환을 통해 VL 모달리티와 국소 메트릭 호환성을 확립한다. (1) 전역 위상학적 선형화(Global Topological Linearization): Lie-algebraic mapping으로 action 매니폴드를 선형화하고 궤적을 고정 길이의 물리적으로 가산 가능한(physically additive) 표현으로 변환한다. (2) 국소 메트릭 이산화(Local Metric Discretization): 표현을 schema와 whitened residual로 계층적으로 이산화하여, 의미적 메트릭과 통계적으로 정렬(aligned)된 근사 등방성 국소 chart를 얻는다. 전역 및 국소 수준에서 구조적 불일치를 해소함으로써 LAST는 우수한 수렴과 일반화 가능성을 갖는 VLA 모델을 가능하게 한다.
비전-언어-액션(VLA) 모델은 백본, 학습 레시피, 데이터 규모 전반에 걸쳐 빠르게 발전해 왔지만, 백본의 은닉 상태(hidden state)를 연속 제어 신호로 변환하는 액션 디코더는 거의 변하지 않았으며 현재 대부분의 VLA에서 단일 지점 예측기(single-point predictor)에 머물고 있다. 자기회귀적 토큰 빈, L1 회귀, 또는 플로우 매칭(flow-matching) 디노이징으로 구현하든, 결과 디코더는 액션 공간을 비구조적으로 다루어 학습 중 인접 액션 간 기하학적 근접성을 활용하지 못한다. 이를 개선하기 위해 우리는 ActionMap을 제안한다. ActionMap은 기존 VLA의 네이티브 액션 디코더를 대체하여 장착할 수 있는 복셀 히트맵 액션 헤드이다. 각 새 액션에 대해 이 헤드는 액션 공간 전체에 대한 복셀 히트맵을 예측하며, 각 복셀은 해당 액션의 확률을 직접 저장한다. LIBERO 시뮬레이션과 실세계 Franka 조작 실험에서, 우리의 히트맵 헤드는 동일 학습 스텝에서 구조적으로 서로 다른 두 백본을 능가하며(예: LIBERO 4개 스위트 평균에서 OpenVLA-OFT의 L1 회귀 헤드 대비 +8.2%), 두 백본 모두에서 동등하거나 더 빠른 수렴을 보이고, 학습 데이터가 적을 때 현저히 더 높은 데이터 효율성을 유지한다. 백본 간 일관된 성능은 액션 표현이 추가적인 백본 또는 레시피 스케일링과는 별개로 VLA 성능에 실질적 영향을 미치는 독립 요소임을 시사한다. 프로젝트 페이지: https://showlab.github.io/ActionMap/.
비전-언어-행동 모델(Vision-Language-Action models, VLA)은 언어 조건 로봇 조작(language-conditioned robotic manipulation)에서 강력한 성능을 보여주었으나, 언어적 변화에 대한 강건성(robustness)은 아직 잘 이해되지 않았습니다. 본 연구에서는 LIBERO 벤치마크를 10개 언어로 번역하여 VLA 모델에 대한 최초의 체계적인 다국어 평가를 수행하였으며, 이를 통해 비영어 지시(non-English instructions) 하에서 성공률이 30-50% 감소하는 등 심각한 성능 저하가 발생함을 확인했습니다. 작업 수행에 대한 정밀한 분석을 통해 언어 영향력이 단계별로 매우 불균형하다는 사실을 발견했습니다. 즉, 특정 단계는 강한 언어 의존성을 보이며 전체 작업 실패의 주원인이 되는 반면, 다른 단계들은 대부분 언어 무관(language-agnostic)한 특성을 보입니다. 이러한 통찰을 바탕으로, 단계별 언어 민감도에 따라 표현(representations)을 정렬하는 단계별 추론 시점 개입(step-wise inference-time intervention) 방법을 제안하여, 언어적 변화 하에서의 성능을 크게 향상시켰습니다. 우리의 결과는 VLA 모델의 언어 강건성이 근본적으로 단계별 제어 문제임을 시사하며, 신뢰할 수 있는 임베디드 에이전트(embodied agents)를 위해서는 시간적으로 구조화된 분석의 중요성을 강조합니다.
다중 로봇 협업에서 중앙 집중식 방식의 확장성 문제와 기존 분산형 방식의 통신 필요성을 해결하기 위해, 단일 비전-언어-행동(VLA) 백본을 활용한 CHORUS 프레임워크를 제안한다. 추론 시 로봇 간 통신 없이 각 로봇의 관찰과 프롬프트에만 의존하여 분산형 협업을 수행하며, 실제 실험에서 기존 모델 대비 64%의 성능 향상을 달성했다.
비전-언어-행동(VLA) 모델은 로봇 조작을 위한 유망한 패러다임으로 떠오르고 있으며, 대규모 시연(demonstrations)과 행동 레이블로 학습된 범용 정책을 가능하게 합니다. 그러나 이러한 모델을 새로운 작업에 적응시키려면 여전히 작업별 시연, 행동 주석, 추가적인 미세조정(fine-tuning)이 필요하므로 배포 비용이 높고 확장이 어렵습니다. 본 논문에서는 동결된 VLA 정책에 대해 작업별 LoRA 파라미터를 생성하여 작업별 미세조정을 우회하는 가중치 공간 메타러닝 프레임워크인 WIZARD를 제안합니다. 언어 명령과 짧은 시연 영상만 입력으로 주어지면, WIZARD는 목표 작업 행동 레이블이나 테스트 타임 최적화 없이 단일 순전파(forward pass)를 통해 해당 적응 가중치를 예측합니다. 메타 학습(meta-training) 과정에서 WIZARD는 작업 증거를 전문가 LoRA 업데이트로 직접 매핑하는 방법을 학습하여, 가중치 공간 내의 작업 간 관계를 포착합니다. LIBERO에서 수행된 실험 결과, WIZARD는 새로운(unseen) 데이터셋 컬렉션에서 최대 약 2배, 새로운 작업에서 최대 약 14배의 성능 향상을 보여주었습니다. Franka Emika Panda 로봇을 통한 실제 환경 실험에서 WIZARD는 실제 도메인에 적응된 기준선(baseline)보다 일관되게 우수한 성능을 보여주었으며, 이는 생성된 어댑터가 시뮬레이션을 넘어선 작업 수준의 전문화를 제공함을 의미합니다.
비전-언어-액션(VLA) 모델은 로봇이 관측 및 언어 명령으로부터 직접 행동을 예측할 수 있게 하지만, 그 성능은 대규모 고품질 데이터에 의존하며 실세계 로봇 행동 데이터셋의 희소성으로 인해 제한된다. 레이블이 없는 풍부한 인간 동영상을 활용한 VLA 모델 학습을 촉진하기 위해, 잠재 행동 모델(LAM)은 시각적 다이나믹스로부터 잠재 행동 표현을 학습하여 VLA 학습에 추가적인 지도 신호를 제공한다. 그러나 LAM과 VLA는 일반적으로 별도로 학습되어, VLA 학습 중 LAM이 실제 행동과 연결되지 못하고 VLA 모델은 고정된 LAM 표현에 의해 제약된다. 이러한 문제를 해결하기 위해, 우리는 표현 정렬을 통해 LAM과 VLA를 공동으로 최적화하는 플러그앤플레이 프레임워크인 잠재 행동 표현 정렬(LARA)을 제안한다. 이를 통해 상호 이점이 실현되는데, LAM은 행동 궤적과 함께 학습하여 잘못된 시각적 변화를 방지하고, VLA는 LAM 내에서 학습된 순방향 다이나믹스에 의해 정규화되어 기능적으로 비효율적인 궤적의 환각을 줄인다. 우리는 사전학습, 사전학습된 VLA 모델의 사후 학습 향상, LAM 정제에서 LARA의 범용성과 효과성을 입증하며, 3개의 시뮬레이션 벤치마크와 세심하게 설계된 1개의 실세계 로봇 조작 벤치마크에서 평균 각각 약 10%, 5%, 15%의 성능 향상을 달성하였다.
언어 기반 UAV 에이전트는 장기 시맨틱 지시를 실행하면서 부드럽고 물리적으로 실현 가능한 연속 비행 명령을 생성해야 하지만, 기존 비전-언어 내비게이션(VLN) 벤치마크는 일반적으로 이산적 또는 거친 행동을 사용하고, 기존 UAV 비전-언어-행동(VLA) 과제는 짧고 원자적인 기동에 초점을 맞춘다. UAV 과제 설정의 이러한 격차를 해소하기 위해, 우리는 다단계 지시와 두 데이터셋 분할인 Fine-grained VLN과 Long-horizon Flow에 걸친 밀집 6-DoF 궤적 어노테이션을 결합한 하이브리드 UAV 내비게이션 및 추론 과제를 위한 세밀한 장기 지시 기반 벤치마크인 FLIGHT를 제안한다. 과제 실행 상태에 대한 실시간 비행 중 추론과 임무 계획 능력을 UAV 에이전트에 부여하면서 동시에 고빈도 실시간 정밀 제어를 수용하기 위해, 우리는 추가로 현재 비행 상태를 요약하고 다음 하위 목표를 예측하는 명시적 Pilot Reasoning 텍스트의 감독 하에, 저빈도 Streaming Pilot 비전-언어 모델(VLM)을 과제 상태 추론용으로, 고빈도 확산 행동 모델을 연속 제어용으로 분리하는 비동기 아키텍처인 FLIGHT VLA를 제안한다. 폐루프 평가에서 FLIGHT VLA는 FLIGHT 벤치마크에서 대표적인 VLN 및 VLA 기준선을 일관되게 능가하며, 더 강한 다단계 완료, 하위 목표 준수, 종단 제어를 달성한다. 학습된 Streaming Pilot Reasoning VLM은 UAV 비디오 추론을 추가로 개선하여, 우리 설계의 효과를 검증한다.