arXiv:2601.22153v2 cs.RO

DynamicVLA: 동적 물체 조작을 위한 비전-언어-행동 모델

DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation

Haozhe Xie, Beichen Wen, Jiarui Zheng, Zhaoxi Chen, Fangzhou Hong, Haiwen Diao, Ziwei Liu

제출 2026-01-29

저자 비고

arXiv Comments

NeurIPS 2026. Project Page: https://www.infinitescript.com/project/dynamic-vla/

한국어 초록

동적 물체를 조작하는 것은 비전-언어-행동(VLA, Vision-Language-Action) 모델에 여전히 미해결 과제로 남아 있습니다. 최근 VLA 모델들이 정적 조작에서는 우수한 일반화 성능을 보이지만, 동적 장면에서는 지연 시간으로 인한 인식-실행 불일치(latency-induced perception-execution mismatch)가 발생합니다. 즉, 추론(inference) 중에 물체의 상태가 계속 변화하여 과거 관측을 기반으로 예측된 행동이 실행 시점에는 유효하지 않게 됩니다. 본 연구에서는 동적 물체 조작을 위한 지연 시간 인지형 VLA 모델인 DynamicVLA를 제안합니다. 이 모델은 효율적인 멀티모달 추론을 위해 소형 0.4B 구조와 합성곱 비전 인코더를 결합하고, 논블로킹(non-blocking) 제어를 위해 추론과 실행을 중첩하는 연속 추론 일정을 적용합니다. 이후 지연 인지형 액션 스트리밍(Latent-aware Action Streaming)을 통해 지연 시간으로 인해 무효화된 행동 접두사를 폐기하고 각 예측 청크에서 시간적으로 유효한 접미사만 실행함으로써 동적 물체 움직임 속에서도 행동-시간 정렬을 유지합니다. 동적 조작 데이터의 부족한 기반을 채우기 위해, 2.8K개 장면과 206개 물체에 걸쳐 200K개의 합성 에피소드를 수집하고 원격 조작(teleoperation) 없이 2K개의 실제 환경 에피소드를 빠르게 수집할 수 있는 자동화된 수집 파이프라인으로 구축된 DOM(Dynamic Object Manipulation) 벤치마크를 도입합니다. 시뮬레이션 및 실제 로봇을 통한 광범위한 평가 결과, DynamicVLA가 변화하는 물체 움직임, 높은 인지 능력을 요하는 지시, 미확인 움직임 패턴 환경에서 동적 조작 성공률을 향상함을 입증합니다.

원문 초록

Manipulating dynamic objects remains an open challenge for Vision-Language-Action (VLA) models. Although recent VLAs generalize well in static manipulation, dynamic scenes introduce a latency-induced perception-execution mismatch: object states continue to evolve during inference, making actions predicted from past observations stale at execution time. We present DynamicVLA, a latency-aware VLA model for dynamic object manipulation. It combines a compact 0.4B architecture and convolutional vision encoder for efficient multimodal inference with a continuous inference schedule that overlaps reasoning and execution for non-blocking control. Latent-aware Action Streaming then discards latency-invalid action prefixes and executes only the temporally valid suffix of each predicted chunk, preserving action-time alignment under dynamic object motion. To fill the missing foundation of dynamic manipulation data, we introduce the Dynamic Object Manipulation (DOM) benchmark, built with an automated collection pipeline that gathers 200K synthetic episodes across 2.8K scenes and 206 objects, and enables fast collection of 2K real-world episodes without teleoperation. Extensive evaluations in simulation and on real robots show that DynamicVLA improves dynamic manipulation success under changing object motion, perception-heavy instructions, and unseen motion patterns.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.22153v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13628v1cs.RO공통 태그 Imitation Learning, Continuous Control, Robot Manipulation, Vision-Language-Action

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2608.25757v5cs.RO공통 태그 Imitation Learning, Continuous Control, Robot Manipulation, Vision-Language-Action

LM-X: 진행도, 이벤트 및 불확실성 예측을 통한 설명 가능한 비전-언어-행동 모델링

LM-X: Explainable Vision--Language--Action Modeling via Progress, Event, and Uncertainty Prediction

대규모 비전-언어-행동(VLA, Vision-Language-Action) 정책은 범용 로봇 제어를 발전시켰으나, 대부분은 자극-행동 간 블랙박스로 남아 있습니다. 즉 행동은 표출되지만 그 설명적 상태는 드러나지 않습니다. 이들은 작업 진행도, 다음 의미적 전이(semantic transition), 국소 명령 신뢰도라는 세 가지 설명 신호를 본질적으로 제공하지 못합니다. 선행 연구는 진행도와 이벤트 구조가 장기 과제 제어(long-horizon control)에 도움을 주고 불확실성이 모니터링을 지원함을 보여주지만, 이러한 기능들은 일반적으로 행동 사전학습(pre-training) 이후에야 추가되거나 추출됩니다. 따라서 학계에는 설명적 상태가 제어와 함께 공동 사전학습되는 VLA 파운데이션 모델이 부재한 상황입니다. 결과 민감적이고 이벤트 분절적이며 확률론적인 예측이 행동을 구조화하는 생물학적 감각운동 체계에 착안하여, 본 연구는 LM-X를 제안합니다. LM-X는 직접 지도 학습되는 세 가지 온라인 신호를 학습합니다. 잔여 보상(RTG, Return-To-Go)은 가시적 진행도와 상태 품질을 추정하고, 잔여 이벤트(ETG, Event-To-Go)는 다음 의미적 이벤트까지의 행동 시퀀스를 예측하며, 이분산 행동 흐름 분산(heteroscedastic action-flow variance)은 국소 명령 신뢰도를 보고합니다. RTG는 ETG의 조건으로 작용하고 둘 모두 행동 생성의 조건이 되며, 불확실성은 행동 전문가 내부에서 추정되어 사후 설명이 아닌 제어의 일부로서 설명이 이루어집니다. 본 연구는 실패한 1,000시간 이상의 롤아웃을 포함해 20,000시간 이상의 이종 실제 로봇 궤적을 대상으로 LM-X를 사전학습했습니다. LM-X는 무작위 고난도 RoboTwin2.0 과제 50개에서 74.1%, 실제 로봇 과제 7개에서 73.5%의 성공률을 달성하여, 각각 55.4%와 50.7%를 기록한 GR00T N1.7을 앞섰습니다. 본 모델의 신호는 진행과 퇴행을 추적하고, 이벤트 단위의 움직임을 예측하며, 높은 오차의 행동을 감지하고, 실패를 사전에 경고합니다. 이러한 결과는 LM-X가 투명한 예측 상태를 더욱 강력한 범용 제어와 결합한 설명 가능한 VLA 파운데이션 모델임을 입증합니다. Github: https://github.com/loongOpen/LoongWu-LM-X-VLA

arXiv:2609.06079v3cs.AI공통 태그 Imitation Learning, Continuous Control, Robot Manipulation, Vision-Language-Action

LayerRoute: 비전-언어-행동 정책을 위한 행동 조건부 층 혼합 라우팅

LayerRoute: Action-Conditioned Mixture-of-Layers Routing for Vision-Language-Action Policies

비전-언어-행동(VLA) 정책은 사전학습된 비전-언어 모델(VLM)을 활용하여 로봇 제어를 위한 행동 생성을 유도합니다. VLM은 국소적인 시각 기하 구조부터 추상적이고 언어와 정렬된 의미에 이르기까지 층(layer) 전반에 걸쳐 발전하는 계층적 시각-의미 표현을 제공하므로, 서로 다른 조작 작업에는 각기 다른 층 표현의 혼합이 필요할 수 있습니다. 한편, 행동 모듈은 행동 계산 전반에 걸쳐 발전하며 후속 결정에 유용한 정보를 제공할 수 있는 중간 표현을 유지합니다. 그러나 기존 VLA 인터페이스는 표현 접근에 있어 유연성이 제한적입니다. 즉, VLM 정보는 각 행동 층에 대해 고정된 층 할당을 통해서만 노출되며, 중간 행동 상태는 명시적인 재사용 없이 잔차 스트림(residual stream)을 통해 암묵적으로만 전파됩니다. 본 논문에서는 VLM 층 및 행동 표현에 대한 적응형 접근을 가능하게 하는 행동 조건부 표현 라우팅 인터페이스인 LayerRoute를 소개합니다. Layer Mixture Router는 캐시된 VLM 표현의 혼합을 동적으로 구성하며, Action-State Reread는 이전 행동 표현을 재사용합니다. 다양한 시뮬레이션 및 실제 환경 벤치마크 전반에서 LayerRoute는 StarVLA-$π$ 및 $π_{0.5}$의 성능을 일관되게 향상시키며, 단 0.31% / 3.87%의 추가 파라미터만으로 LIBERO Long에서 최대 7.2의 성능 향상을 달성합니다. 절제 연구(ablation study)를 통해 행동 조건부 층 라우팅의 이점을 검증하였으며, 라우팅 분석을 통해 행동 층 및 작업 설정 전반에 걸친 구조화된 할당 패턴을 확인했습니다.

arXiv:2610.02323v1cs.RO공통 태그 Imitation Learning, Continuous Control, Robot Manipulation, Vision-Language-Action

비전-언어-행동 모델을 위한 월드 기반 보정 제안-행동 흐름

World-Calibrated Proposal-to-Action Flow for Vision-Language-Action Models

흐름 기반 비전-언어-행동(VLA) 정책은 작업 무관 등방성 가우시안 소스로부터 샘플을 이송하여 행동 청크를 생성합니다. 이러한 소스는 최근 실행 내용이나 예측된 미래 변화 모두에 조건화되지 않기 때문에, (i) 최근 실행된 모션에 의해 확립된 국소적 연속성을 상실합니다. (ii) 예측형 월드 표현이 도입되더라도, 이는 생성이 시작되는 위치, 벗어날 수 있는 허용 범위, 또는 행동이 확장될 수 있는 방향을 결정하기보다는 이송 동역학만을 조건화하는 데 그치는 경우가 많습니다. 이러한 관찰에 착안하여, 본 연구는 생성 소스 자체를 예측 가능하게 만드는 월드 기반 보정 제안-행동(proposal-to-action) 프레임워크인 ProAct를 제안합니다. (i) 모션 연속성을 보존하기 위해, 경량 제안 전문가(Proposal Expert)는 1단계의 모션 앵커 기반 종점 흐름 매칭을 통해 최근 행동들을 장면 인지 가설로 변환함으로써 실증된 행동 다양체 근처에서 생성을 시작하도록 합니다. (ii) 의도된 장면 변화와 제안-미래 간의 호환성을 함께 포착하기 위해, 미래지향적 월드 전문가(World Expert)는 해당 가설을 연성 모션 사전분포로 취급하면서 작업 일관적인 잠재 미래를 예측합니다. (iii) 모델은 이러한 호환성으로부터 제안 중심 비등방성 소스를 보정하며, 여기서 유계된 스텝당 범위는 허용된 편차를 제어하고 조건수 예산 하의 대각합 정규화 저계수 기하는 결합된 병진, 회전, 그리퍼 방향 전반에 걸쳐 정제를 할당합니다. $\pi_{0.5}$와 비교하여, ProAct는 디노이징 스텝을 50% 줄이고 추론 지연 시간을 최대 25.8% 단축하며 처리량을 최대 34.8% 향상시키는 동시에 시뮬레이션 및 실제 환경 작업 전반에서 성능을 개선합니다.

arXiv:2609.32193v2cs.CV공통 태그 Imitation Learning, Continuous Control, Robot Manipulation, Vision-Language-Action

Devol-ONE: 비전-언어-행동과 잠재 월드 모델링을 통합하는 단일 자기회귀 트랜스포머 혼합 모델

Devol-ONE: One Autoregressive Mixture of Transformers to Unify Vision-Language-Action and Latent World Modeling

비전-언어-행동(Vision Language Action, VLA) 모델은 후보 행동에 따라 장면이 어떻게 진화하는지에 대한 명시적인 고려 없이, 현재의 시각 및 언어 컨텍스트에 직접 행동을 조건화합니다. 월드 행동 모델(World Action Models, WAM)은 미래 상태를 예측함으로써 이러한 한계를 해결하고자 하지만, 기존 설계는 픽셀 공간 비디오 생성을 통하든 정책과 독립적으로 학습된 잠재 예측 모듈을 통하든 예측 출력만을 통해 연결할 뿐, 예측과 정책 학습을 아키텍처적으로 분리된 상태로 유지합니다. 본 논문에서는 단일 자기회귀 프레임워크 내에서 비전-언어 이해, 잠재 월드 다이내믹스 예측, 행동 생성을 통합하는 트랜스포머 혼합(Mixture of Transformers) 아키텍처인 Devol-ONE을 제시합니다. Devol-ONE은 비전-언어 토큰을 한 번 인코딩하여 행동 전문가에게 전달하는 대신, 비전-언어 스트림과 V-JEPA 사전학습 다이내믹스 스트림 전반에서 공동으로 자기회귀 예측을 수행하며, 모든 층(layer)에서 비전-언어 키-값(KV) 캐시에 어텐션(attention)하여 언어 가이드에 따라 미래의 잠재 상태를 예측합니다. 결과적으로 행동 전문가는 사전에 계산된 고정된 표현이 아니라, 시맨틱 추론과 예측된 물리적 다이내믹스에 의해 지속적으로 형성됩니다. LIBERO, LIBERO-PLUS, RoboTwin2.0에 대한 광범위한 실험과 함께 Flexiv 단일 암 및 듀얼 암 환경에서의 실제 환경 평가가 수행되었습니다. 절제 연구(ablation study)는 다이내믹 스트림 예측과 층별 통합 어텐션의 효과를 보여주어 우리 모델(model) 아키텍처의 일관성을 검증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.