비전-언어-행동(VLA) 모델은 3D 공간 추론이 필요하지만, RGB 관측은 로봇-객체 기하를 암묵적으로만 인코딩한다. 카메라 내부 파라미터로 깊이를 리프팅하면 이 기하를 밀집하고 이미지에 정렬된 포인트맵(pointmap)으로 명시화할 수 있으나, 카메라 프레임 좌표는 카메라 배치에 따라 달라진다. 우리는 포인트맵을 엔드 이펙터(end-effector) 원점과 로봇 베이스에 정렬된 축을 갖는 로봇 중심 좌표계로 변환하는 SeeR-VLA를 제안한다. 사전학습된 RGB 가중치로 초기화한 인코더가 포인트맵 특징을 추출하고, 토큰 수를 늘리지 않은 채 대응하는 RGB 토큰에 더한다. 24개 RoboCasa 태스크와 4개의 실세계 태스크에서 SeeR-VLA는 RGB만 사용하는 $\pi_{0.5}$ 대비 평균 성공률을 각각 6.4 및 32.5퍼센트포인트 향상시킨다. 또한 평가한 3D 보강 기준선 중 최강인 PointVLA를 각각 3.5 및 23.7퍼센트포인트 능가한다. 이러한 향상 외에, ablation을 통해 좌표 선택이 VLA 성능에 미치는 영향을 밝혔으며, 엔드 이펙터 중심화는 로봇 베이스 정렬 축과 함께할 때 가장 효과적임을 보였다. 학습 시점(viewpoint)이 다양해질수록 이점이 커지며, 다양한 카메라 구성에서 학습할 때 로봇 프레임 포인트맵을 사용하는 것이 중요함을 강조한다.
비전-언어-행동(VLA, Vision-Language-Action) 모델은 범용 로봇 조작(manipulation)을 위한 유망한 패러다임으로 부상했습니다. 현재 아키텍처의 일반적인 설계는 언어 지시와 시각적 관측을 단일 순전파(forward pass)를 통해 행동으로 매핑합니다. 개념적으로는 단순하지만, 이러한 정식화는 단일 학습 목표 내에서 지시문 이해, 공간적 장면 이해, 모터 제어를 얽히게 만듭니다. 그 결과, 행동 전문가는 사전학습된 VLM에 이미 존재하는 인지 및 지각 능력을 암묵적으로 다시 학습해야 하므로, 학습 효율성과 일반화 모두를 제한할 수 있습니다. 본 연구에서는 이러한 시각적 프리미티브 중심의 인터페이스를 구현하는 엔드투엔드 아키텍처인 AVP(Action with Visual Primitives)를 소개합니다. AVP에서는 VLM이 다음 단계 목표를 추론하고 플로우 매칭(flow-matching) 행동 전문가의 조건이 되는 시각적 프리미티브 토큰을 방출하며, 말단 장치(end-effector) 기구학에서 파생된 감독을 받습니다. 일반적인 집기 및 놓기(pick-and-place) 작업에 대한 실제 로봇 실험에 따르면, AVP는 pi_0.5 대비 성공률을 37.04% 향상시키고 다른 최신 방법들을 능가하며, 데이터 효율성, 공간-구성적 일반화, 객체 수준 전이 전반에서 일관된 성능 향상을 보입니다.
비전-언어-행동(VLA, Vision-Language-Action) 모델은 세상이 어떻게 반응하는지를 고려하는 목적 함수 없이 관측을 행동으로 매핑하므로, 이들의 견고성은 주로 데이터 커버리지에 의해 제한됩니다. 월드 모델은 바로 그 결여된 목적 함수를 지니고 있어 그 덕분에 더 우수한 그라운딩(grounding)을 갖추고 있지만, 미래를 시뮬레이션(rolling forward)하는 데 결정당 수 초가 걸려 제어 루프에서 배제됩니다. 우리는 이 둘을 분리할 수 있음을 보여줍니다. 물리적 장면에 대해 월드 모델이 알고 있는 것은 그것의 내부 특징(feature)에 존재하며, 미래를 생성하는 것은 단지 그 특징을 생성해 낸 목적 함수일 뿐이므로, 생성 메커니즘은 남겨둔 채 그라운딩만을 물려받을 수 있습니다. 우리는 일반적인 VLA 학습(training)에 특징 정렬(feature-alignment) 손실 항 하나를 추가합니다. 즉, 동결된 월드 모델을 학습 프레임에 대해 한 번 실행하여 캐시해 두고, 학생 모델은 해당 캐시와 일치하도록 학습합니다. 학습 중에는 교사 모델이 로드되지 않고, 프로젝터는 학습 후 폐기되며, 배포된 정책은 증류되지 않은 기준선(baseline)과 동일하여 소비자용 RTX 5090에서 32 ms 및 1.86 GB로 동작하므로, 모든 성능 향상은 추가된 용량이나 테스트 시점 연산(test-time compute)이 아닌 표현(representation) 덕분입니다. 0.8B 학생 모델은 LIBERO에서 97.9%를 달성하고, RoboCasa-GR1 휴머노이드 조작에서 48.2%에서 50.5%로 향상되었으며, 동일한 목적 함수가 단일 암 및 양팔 플랫폼 모두의 실제 하드웨어로 이어집니다. 이러한 성능 향상은 학생 모델 크기, 백본, 정렬 층(layer), 교사 모델의 변경에도 유지되어, 두 특정 네트워크 간의 취약한 정렬이 아닌 광범위한 표현 사전 확률(representational prior)임을 나타냅니다. 프로젝트 페이지: https://thaw-vla.trung-dt.com/.
자율 내시경 내비게이션에서는 정책 모델이 질감 정보가 빈약한 단안(monocular) 관측으로부터 행동을 예측하고, 안전한 제어 결정을 내려야 하며, 병변이 시야(field of view)를 벗어난 뒤에도 병변에 대한 증거를 유지해야 한다. 기존 비전-언어-행동(VLA) 모델은 주로 시각적 외관과 단기 문맥에 의존하여 기하학적 그라운딩(grounding)과 에피소드 수준 보고가 제한된다. 본 연구는 협착(stenotic) 구간 통과 내비게이션을 위한 3D 인식 VLA 프레임워크인 StenoVLA-3D를 제안한다. 학습된 기하 게이트 융(geometry-gated fusion)을 통해 포인트 맵(point-maps)을 Cosmos-Reason 2 백본에 통합하고, 통과 진행(traversal progress)을 모델링하기 위한 시간적 상태 분기(temporal state branch)도 제안한다. 추론-행동 백본은 행동과 함께 그라운딩된 추론을 예측하며, 전용 헤드는 협착 형상을 추정하고 최종 병변 보고서를 생성한다. 또한 병변 주석, 행동, 시간적으로 그라운딩된 추론을 포함한 에피소드 수준 데이터셋 EndoCausal를 도입한다. 보류(hold-out)된 40개 녹화 테스트 에피소드에서 StenoVLA-3D는 95.2%의 의미 정확도와 83.4%의 행동 정확도를 달성한다. 물리적 3-DoF 내시경에서는 식도 및 결장 팬텀(각 36회 시험)에서 각각 88.9% 및 77.8%의 과제 성공률을 기록하여, 평가한 베이스라인을 크게 상회한다.
Vision-Language-Action(VLA) 모델은 시각-언어 이해와 실행 가능한 로봇 행동을 통합하여 로봇 제어를 위한 종단간(end-to-end) 학습을 가능하게 한다. 그러나 우리의 실증 분석에 따르면, 기존 모델들은 제한된 데이터셋으로 파인튜닝(fine-tuning)될 때 심각한 궤적 과적합(trajectory overfitting)을 보인다. 모델이 손목 카메라 정보를 효과적으로 활용하도록 유도하기 위해, 우리는 마스킹 기반 파인튜닝 전략인 MaskVLA를 제안한다. 메인 카메라의 시각 정보 중 일부를 무작위로 마스킹함으로써, 모델은 보다 세밀하고 과제와 관련성이 높으며 효과적인 시각적 특징을 자율적으로 학습하도록 유도된다. 이 과정은 강건한 정책(policy)의 출현으로 이어지며, 이를 통해 복잡한 조작(manipulation) 과제를 처리하는 모델의 능력을 향상시키고 일반화 성능을 개선한다. 우리의 방법은 RoboTwin 2.0에서 종합적으로 평가되었으며, $\pi_0$ 및 OpenVLA-OFT 대비 각각 평균 23.2%, 16.8%의 성공률 향상을 달성했다. 또한 실제 ALOHA 로봇을 이용한 실험에서도 우리 접근법의 효과가 입증되었다.
비전-언어-행동(Vision-Language-Action, VLA) 모델은 현재의 관측만을 바탕으로 행동을 예측하는 경우가 많아, 에피소드 이력이 없으면 객체 가림(occlusion)이나 시각적으로 동일한 객체가 포함된 작업에서 모호함이 발생할 수 있습니다. 관측 윈도우를 넓히는 일반적인 대응책은 시계(horizon)를 하이퍼파라미터로 만들며 이에 따라 스텝당 비용이 증가하게 합니다. 본 연구에서는 대신 순환 상태(recurrent state)에 에피소드를 포착합니다. SmoLSTM은 동결된 256M 매개변수의 SmolVLM 백본을 행렬-메모리 LSTM 제어 층과 결합하며, 이 제어 층에서는 전체 에피소드 동안 전혀 리셋되지 않는 단일 인과적 스트림(causal stream) 내에 관측 토큰과 행동 쿼리가 통합됩니다. 따라서 순환 상태의 저장은 에피소드 길이에 대해 O(1) 복잡도를 가집니다. 흐름 정합(flow-matching) 행동 헤드는 각 제어 스텝에서 10개의 말단 장치(end-effector) 포즈 변화량과 그리퍼 명령 청크를 예측합니다. 140개 작업에 걸친 7,461개의 시연 데이터로 공동 학습되고 미확인 초기 상태에서 평가된 본 연구의 단일 정책은 0.04B의 학습 가능한 매개변수만으로 LIBERO-Mem에서 85.1%의 서브골 도달률과 77.5%의 전체 작업 성공률을 기록하며 최고의 성능을 달성하여, 벤치마크 자체의 객체 중심 기준선과 최근의 메모리 기반 접근법을 모두 능가했습니다. 매 제어 스텝마다 순환 상태를 리셋하면 전체 작업 성공률이 7.0%로 감소하여, 학습된 정책이 의사결정 간에 전달되는 문맥에 의존함을 보여줍니다. 동일한 모델이 표준 LIBERO에서도 평균 79.6%의 성공률을 달성합니다.
VLAFlow는 비전-언어-행동(VLA) 모델의 사전학습 패러다임을 공정하게 비교하기 위한 통합 플로우 매칭 프레임워크로, 약 5,000시간 규모의 이종 로봇 데이터셋 OXEMix를 활용해 행동 전용 모델링(MindPI), 언어 감독 공동 학습(MindLPI), 미래 잠재 정렬(MindWPI), 통합 방식(MindLWPI) 등 네 가지 패러다임을 동일 아키텍처 하에 평가한다. LIBERO, LIBERO-Plus, SimplerEnv 실험에서 언어 감독과 미래 잠재 정렬을 함께 활용한 MindLWPI가 이종 데이터에서의 부정적 전이를 완화하고 가장 안정적인 전이 성능을 달성함을 보인다.
Vision-Language-Action (VLA) models predominantly adopt action chunking, i.e., predicting and committing to a short horizon of consecutive low-level actions in a single forward pass, to amortize the inference cost of large-scale backbones and reduce per-step latency. However, committing these multi-step predictions to real-world execution requires balancing success rate against inference efficiency, a decision typically governed by fixed execution horizons tuned per task. Such heuristics ignore the state-dependent nature of predictive reliability, leading to brittle performance in dynamic or out-of-distribution settings. In this paper, we introduce A3, an Adaptive Action Acceptance mechanism that reframes dynamic execution commitment as a self-speculative prefix verification problem. A3 first computes a trajectory-wise consensus score of actions via group sampling, then selects a representative draft and prioritizes downstream verification. Specifically, it enforces: (1) consensus-ordered conditional invariance, which validates low-consensus actions by judging whether they remain consistent when re-decoded conditioned on high-consensus actions; and (2) prefix-closed sequential consistency, which guarantees physical rollout integrity by accepting only the longest continuous sequence of verified actions starting from the beginning. Consequently, the execution horizon emerges as the longest verifiable prefix satisfying both internal model logic and sequential execution constraints. Experiments across diverse VLA models and benchmarks demonstrate that A3 eliminates the need for manual horizon tuning while achieving a superior trade-off between execution robustness and inference throughput.
비전-언어-액션(VLA) 모델은 구현형 AI(embodied AI)에서 강한 잠재력을 보여왔지만, GPU에서의 높은 추론 지연이 실시간 배포를 제한한다. 기존 가속기(예: Dadu-Corki)는 효율을 개선하지만 VLA 모델을 전정밀(full-precision) 워크로드로 취급하여, 메모리와 연산 모두에서 상당한 중복성을 충분히 활용하지 못한다. 본 논문에서는 가중치 유사성과 실행 동역학(execution dynamics)을 활용하여 VLA 추론을 가속하는 알고리즘-하드웨어 공동 설계 프레임워크인 VQVLA를 제안한다. 먼저 로봇의 실행 상태에 따라 양자화 정밀도를 동적으로 조절하여 메모리 접근을 줄이면서 과제 성공률을 유지하는 모션 인식 벡터 양자화 방식인 MotionVQ를 도입한다. 다음으로 코드북 인덱스 표현(codebook-index representation)에서 동작하는 병합 중심점(merged-centroid) 벡터화 GEMM 패러다임을 제안하여, 공간적 집계(spatial aggregation)와 중심점의 시간적 재사용(temporal reuse)을 통해 중복 곱셈을 제거한다. 이러한 최적화를 구현하기 위해 동적 정밀도 선택과 중심점 재사용 연산을 효율적으로 지원하는 가속기를 설계한다. 실험 결과, VQVLA는 A100 GPU, Dadu-Corki, LUT-DLA, CodeGEMM, ShiftAddLLM 대비 각각 6.5배, 2.8배, 1.9배, 3.3배, 4.3배의 속도 향상을 달성하며 정확도 저하는 미미하다.
비전-언어-행동(VLA) 모델의 실시간 추론은 로봇 제어에 필수적이다. 시각적 토큰 가지치기는 추론 가속에 큰 잠재력을 보여주었지만, 기존 방법 대부분은 가지치기 결정을 주로 얕은 층의 단서에 기반하여 깊은 층에서 필요한 시각 정보를 버릴 위험이 있다. 이 문제를 해결하기 위해, 우리는 미래 층의 어텐션 단서를 가지치기 결정에 통합하는 plug-and-play 가지치기 프레임워크인 SAFE-Pruner를 제안한다. 구체적으로, VLA 모델이 제어 타임스텝 전반에 걸쳐 동일한 의미론적 개체에 어텐션 확률 질량을 집중하는 경향인 의미론적 어텐션 일관성을 확인한다. 이 관찰에 기반하여, 깊은 층에서의 토큰 현저성을 예측하는 전방 주시 전략을 설계하여, 중요 토큰의 조기 제거를 방지하고 더 안정적인 가속을 달성한다. 또한 어텐션 변화 시 업데이트를 트리거하는 참조 타임스텝 갱신 전략을 도입하여, 예측 정확도와 가지치기 신뢰성을 향상시킨다. 다양한 평가 설정에 걸친 광범위한 실험 결과, 우리 방법은 성공률 저하를 1.5% 미만으로 최소화하면서 최대 1.89배의 속도 향상을 달성하며, 최신 방법 대비 최대 1.9% 더 높은 성공률을 보인다.
월드 모델링으로 보강된 비전-언어-행동(VLA) 모델은 종단간(end-to-end) 자율주행을 위한 유망한 패러다임을 나타낸다. 픽셀 수준의 미래 예측은 세밀한 시공간 추론을 가능하게 하지만, 노이즈가 많은 주행 시나리오에서 견고성을 희생한다. 반대로, 잠재(latent) 기반 월드 모델은 이러한 민감도를 완화하지만, 픽셀 수준 그라운딩(grounding)이 부재하여 해석 가능성이 제한되고 표현이 저하되는 경우가 많다. 이 트레이드오프를 조화시키기 위해, 우리는 픽셀 수준 감독과 잠재 표현 학습을 통합하는 하이브리드 world-VLA 프레임워크인 HyWorldVLA를 제안한다. 사전학습 단계에서 HyWorldVLA는 사전학습된 video VAE로 인코딩된 비디오 잠재(latent)를 예측하면서, 동시에 비디오 프레임을 재구성하여 정밀한 픽셀 수준 그라운딩을 제공한다. 이후 공동 미세조정(co-fine-tuning) 단계에서는 모델이 잠재 특징만을 예측하고, 이를 action expert에 입력하여 궤적을 생성한다. NAVSIM v1 및 v2 벤치마크에 대한 광범위한 실험 결과, HyWorldVLA가 픽셀 기반 및 잠재 기반 월드 모델 베이스라인을 모두 크게 능가함을 보여준다. 특히, 우리는 자율주행에서 월드 모델의 노이즈 견고성에 대한 최초의 포괄적인 정성 및 정량 분석을 제시하며, 향후 아키텍처 평가를 위한 새로운 벤치마크를 마련한다.
우리는 Xiaomi-Robotics-1을 제시한다. 이는 (1) 다양한 언어 지시를 따라 보지 못한 환경에서 즉시(out-of-the-box) 광범위한 이동 조작(mobile manipulation) 작업을 수행할 수 있고, (2) 최소한의 미세조정 데이터로 새로운 하류(downstream) 작업에 효율적으로 적응할 수 있는 기초 비전-언어-액션(VLA) 모델이다. 우리는 사전학습과 사후 학습으로 구성된 2단계 학습 레시피를 제안한다. 사전학습 동안 UMI 장치를 통해 수집된 10만 시간 이상의 실세계 조작 궤적으로 학습하여 모델에 폭넓고 일반화 가능한 액션 생성 능력을 부여한다. 핵심적으로, 장면 상태 전환을 설명하는 자연어로 궤적 클립에 주석을 달아 액션 학습을 위한 풍부하고 정확한 조건화(conditioning)를 제공하는 확장 가능한 자동 라벨링 파이프라인을 개발했다. 사후 학습 동안에는 이러한 능력을 로봇 embodiment 및 인간이 로봇에 프롬프트할 때 자연스럽게 사용하는 명령형 지시와 정렬(alignment)하는 것을 목표로 한다. 광범위한 실험은 강한 스케일링(scaling) 특성을 보여준다. Xiaomi-Robotics-1은 사전학습 동안 데이터 규모와 모델 크기가 증가함에 따라 일관되게 개선된다. 이러한 스케일링 특성은 사후 학습으로 직접 전이되며, 더 강력한 사전학습 모델이 보지 못한 환경에서 더 나은 즉시(out-of-the-box) 실로봇 성능을 제공한다. 또한 Xiaomi-Robotics-1은 복잡하고 정교한(dexterous) 작업에 높은 데이터 효율로 효율적으로 미세조정할 수 있는 강력한 로봇 기초 정책(foundation policy) 역할을 한다. 여러 시뮬레이션 벤치마크에서 Xiaomi-Robotics-1은 최신(state-of-the-art) 방법들을 능가한다. 특히 RoboCasa365에서 57.4%의 성공률로 새로운 최고 성능(state-of-the-art)을 수립하여 이전 최고 기록 46.6%를 넘어선다. 또한 RoboDojo에서 평균 20.07점을 달성하여 이전 최고 성능(13.07)을 크게 능가한다. 코드와 모델 체크포인트가 공개될 예정이다. 프로젝트 페이지: https://robotics.xiaomi.com/xiaomi-robotics-1.html
비전-언어-액션(VLA) 모델은 로봇 조작 분야에서 강력한 잠재력을 보여주었지만, 엣지 하드웨어에서의 실시간 배포는 여전히 어려운 과제입니다. 본 연구에서는 비전-언어 모델(VLM)의 시각 및 컨텍스트 토큰이 배포 지연 시간의 주요 원인임을 확인했습니다: 모델 차원이 고정되어 있을 때, GEMM 중심의 투영 연산자에 대해 연산량은 입력 토큰 수에 따라 선형적으로 증가합니다. 이러한 관찰에 착안하여, 우리는 Huixi R1 엣지 SoC와 공동 설계된 배포 지향 VLA 모델인 RhinoVLA를 제안합니다. RhinoVLA는 토큰 효율적인 Qwen3-VL 백본과 연속형 액션 전문가(Action Expert)를 채택하여, 사전학습된 멀티모달 능력을 유지하면서 VLM 측의 토큰 및 연산 부담을 줄입니다. 로봇 간 학습을 지원하기 위해 RhinoVLA는 View Registry, 72차원 물리적 상태-액션 슬롯 공간, robotinstance LoRA를 결합한 통합 인터페이스를 추가로 도입하여, 이기종 로봇 관찰 및 액션 스키마를 공유 정책 하에서 정렬할 수 있도록 합니다. 배포 측면에서 RhinoVLA는 하드웨어 인식 컴파일, 혼합 정밀도 실행, 병렬 시각 인코딩을 통해 최적화되었습니다. 실험 결과, RhinoVLA는 유사한 매개변수 규모에서 π0.5와 대등한 다운스트림 성능을 달성하면서, Huixi R1에서 11.69 Hz의 엔드-투-엔드 추론 속도를 기록하여 10 Hz 실시간 폐루프 제어 목표를 충족함을 보여줍니다. 본 프로젝트는 https://github.com/HuixiAI/RhinoVLA에서 오픈 소스로 공개될 예정입니다.
Wan-Streamer v0.3을 제시한다. 이는 네이티브 스트리밍 상호작용 모델을 단일하는 조직적 관점 아래 재구성한 것으로, 비디오는 월드와 이벤트 스트림의 합이다. 월드는 비디오가 전개되는 지속적인 컨텍스트로, 환경(environment), 장면, 대상, 주변 음향 조건, 음성 특성, 기타 상대적으로 안정적인 조건을 포함한다. 이벤트 스트림은 해당 월드 내에서 시간에 따라 변하는 모든 것으로, 장면 또는 환경 변화, 대상 행동, 음성, 기타 소리를 포함한다. 이는 대규모 실제 비디오에 대한 범용 사전학습(pre-training) 과제를 만들어낸다. 월드와 들어오는 입력이 주어졌을 때, 월드가 실시간으로 어떻게 움직이고 변화하며 반응하는지 예측한다. 이렇게 얻은 역량은 광범위한 실시간 다운스트림(downstream) 과제에 특화될 수 있다. 이를 실시간 풀듀플렉스(full-duplex) 오디오-비주얼 상호작용에 구현했으며, 여기서 이벤트 스트림은 에이전트의 음성과 자유 형식 행동이다. 기능적으로 모델의 멀티모달 이해 과정은 비전-언어-행동(vision-language-action)과 유사하다. 멀티모달 사용자 입력을 언어 형식의 음성 및 행동 액션으로 매핑한다. Wan-Streamer v0.3은 v0.2 운영 지점을 유지한다. 640x368 비디오, 25 FPS, 160 ms 스트리밍 유닛, 약 200 ms 모델 측 응답 지연, 350 ms 양방향 네트워크 예산 하에서 약 550 ms 총 상호작용 지연이다.
비전-언어-행동(VLA) 모델은 다양한 체화(embodied) 과제에서 인상적인 성능을 달성했다. 그러나 Jetson Orin과 같은 저전력 온보드 장치에 VLA 모델을 배포하는 것은 높은 계산 복잡도로 인해 상당한 추론 지연과 낮은 제어 주파수를 초래하여 여전히 어렵다. 비동기 추론은 행동 실행과 후속 추론을 병렬화하여 이 지연을 부분적으로 가릴 수 있지만, 지각-실행 불일치와 긴 반응 시간이라는 두 가지 중요한 문제를 야기한다. 본 논문에서는 선견 정렬 비동기 보정(Foresight-Aligned Asynchronous Correction)을 통해 온보드 장치에 VLA를 효율적으로 배포하는 방법인 Jetson-PI를 제안한다. 불일치를 해결하기 위해, 확정된 행동을 조건으로 미래 환경 표현을 예측하는 경량 미래 보정 모듈을 학습하여 행동 전문가(action expert)가 미래 시점에서 직접 행동을 예측할 수 있게 한다. 반응 시간을 줄이기 위해, 비전-언어 모델(VLM)과 행동 전문가 호출을 적응적으로 균형 맞추는 신뢰도 기반 스케줄링 최적화를 도입하며, CUDA 그래프 재사용, GPU 상주 중간 버퍼링, 플로우 언롤링(flow unrolling)을 포함한 시스템 수준 가속을 보완한다. 광범위한 실험을 통해 Jetson-PI가 NVIDIA Jetson Orin에서 순수 PyTorch 및 vla.cpp 대비 제어 주파수를 각각 8.66배, 5.41배 향상시키며, LIBERO 벤치마크에서 평균 성공률이 VLASH보다 14.8% 높음을 보였다. 비동기 알고리즘 코드는 https://github.com/PKU-SEC-Lab/Jetson-PI에서, 효율적인 llama.cpp 기반 추론 엔진은 https://github.com/PKU-SEC-Lab/Jetson-PI-Edge에서 확인할 수 있다.
최근 로봇 파운데이션 모델은 단일 스텝 또는 짧은 이력의 시각-운동(visuomotor) 컨텍스트로 동작한다. 우리는 Test-Time-Training Robot Policies(RoboTTT)를 제안하는데, 이는 시각-운동 컨텍스트를 8K 타임스텝까지 스케일링하는 로봇 모델 및 학습 레시피로, 추론 지연을 늘리지 않으면서 최첨단 정책 대비 세 자릿수(3 orders of magnitude) 수준으로 확장한다. 이 컨텍스트 길이에서 새로운 로봇 능력을 가능하게 한다: 인간 비디오 시연으로부터의 원샷(one-shot) 문맥 내(in-context) 모방, 즉석 정책 개선, 섭동(perturbation)에 대한 강건성, 그리고 다단계·장기(long-horizon) 과제에서의 더 강한 성능. 또한 사전학습 컨텍스트 길이가 스케일링될수록 폐루프(closed-loop) 성능이 꾸준히 향상되는 현상을, 처음으로 관찰한다. 핵심적으로 RoboTTT는 Vision-Language-Action(VLA) 정책과 같은 로봇 파운데이션 모델에 Test-Time Training(TTT)을 통합하여, 순환 상태가 fast weights로 구성된 시퀀스 모델을 만들어낸다. fast weights는 학습과 추론 모두에서 경사하강법으로 업데이트되는 파라미터로, 이력을 가중치 공간으로 압축하고 장컨텍스트 조건화를 위해 맥락 정보를 검색한다. 학습 컨텍스트 길이를 스케일링하기 위해, 이 레시피는 sequence action forcing과 truncated backpropagation through time(시간을 통한 절단 역전파)을 결합한다. 도전적인 실제 로봇 조작(manipulation) 과제에서 RoboTTT는 단일 스텝 컨텍스트 기준선 대비 전체 성능을 87% 향상시키고, 어떤 기준선도 완수하지 못한 5분·10단계 조립 과제를 완전히 완료한다. 8K 타임스텝 컨텍스트로 학습된 RoboTTT는 1K 타임스텝으로 사전학습된 동일 모델보다 62% 더 우수한 성능을 보이며, 이는 로봇 파운데이션 모델을 위한 새로운 스케일링 축으로서 컨텍스트 길이를 시사한다. 비디오는 https://research.nvidia.com/labs/gear/robottt/ 에서 확인할 수 있다.
플로우 매칭(flow-matching) 기반 비전-언어-행동(VLA) 모델은 로봇 조작을 위한 강력한 정책으로 부상했지만, 한 가지 중요한 능력은 여전히 충분히 탐구되지 않았다: 세밀한 행동 제어, 즉 내부 표현에 개입하여 로봇이 작업을 수행하는 방식을 통제하는 능력이다. 표현 조향(representation steering)은 언어 및 비전-언어 모델에서 널리 자리 잡은 해석 가능성 도구이며, 행동 특징은 일반적으로 선형 방향으로 인코딩되지만, 우리는 이러한 고전적 방법이 VLA에서는 한계를 보인다는 것을 보여준다. 우리는 플로우 매칭 VLA에 맞춤화된 분포 매칭 조향(Distribution-Matching Steering) 전략인 DiMaS를 제안한다. 이는 고정된 방향을 따라 이동하는 대신 표현 분포 사이를 수송하며, 두 최신 VLA에서 행동을 효과적으로 제어함을 보인다. 또한 학습과 평가에 사용되는 과제가 점점 더 상이해질수록 이 전략의 일반화 가능성을 검토하여, 행동 제어가 전이되는 지점과 약화되는 지점을 특성화한다. 마지막으로, 액션 전문가(action expert)의 표현 구조 분석을 통해 시각-운동(visuomotor) 설정에서 고전적 선형 조향이 부족한 이유를 설명한다: 행동 특징은 선형적으로 디코딩 가능하지만 선형적으로 조향 가능하지는 않으며, 이는 DiMaS의 분포 매칭 설계를 동기 부여한다. 코드는 https://github.com/pegah-kh/dimas 에서 공개되어 있으며, 추가 결과와 영상은 https://pegah-kh.github.io/dimas/ 에서 확인할 수 있다.
비전-언어-액션(VLA) 모델에서 액션 지도는 흔히 동작 예측 학습을 위한 하류 목적 함수로 취급된다. 본 논문에서는 이를 대신 상속된 다중 모달 표현을 형성하는 힘으로 연구한다. 이러한 형성은 이중 효과를 가진다는 것을 보인다. 액션 호환 표현을 만드는 데 필요하지만, 액션 지도가 상속된 다중 모달 경로에 너무 직접적으로 적용되면 언어 측 처리와 객체 그라운딩(grounding)을 지원하는 표현을 불안정하게 만들 수도 있다. 이 긴장을 해결하기 위해 Action QFormer를 도입한다. 이는 쿼리 기반 액션 대면(action-facing) 인터페이스로, 하류 액션 생성 전에 인스트럭션 조건 쿼리(instruction-conditioned queries)를 사용하여 상속된 다중 모달 정보를 액션 대면 표현으로 재구성한다. 제로샷(zero-shot) sim-to-real 내비게이션에서 Action QFormer는 평균 폐루프(closed-loop) 과제 성공률을 18.8%에서 56.3%로 향상시키고, 고정 인스트럭션 액션 생성 정확도를 22.5%에서 75.5%로 높이며, 분포 외(out-of-distribution) 인스트럭션 생성을 거의 제거한다. 추가 분석은 Action QFormer가 액션 지도가 상속된 다중 모달 표현을 형성하는 방식을 바꾸며, 광범위한 상류(upstream) 재작성을 줄이는 동시 목표적이고 때로는 건설적인 액션 지도 적응을 보존한다는 것을 보여준다. 이 결과는 VLA 성능 향상이 더 강력한 사전학습(pre-training) 백본뿐만 아니라, 액션 지도 하에서 형성 방식을 통제하면서 상속된 다중 모달 정보를 선택하고 조직화하는 더 나은 방법도 필요함을 시사한다.
비전-언어-동작(VLA) 모델은 시각-운동(visuomotor) 정책 학습에서 인상적인 성과를 거두었지만, 근본적으로 반응형(reactive)으로 남아 있어 현재 관측과 언어를 동작에 매핑할 뿐 세계 역학(world dynamics)에 대한 명시적 순방향 예측 없이 동작한다. 기존 시각적 예측(visual foresight) 방법은 미래 시각 상태를 예측하지만 명시적 동작 안내(motion guidance)가 부족하다: 어디로 가야 하는지는 보여주지만 어떻게 도달해야 하는지는 보여주지 않는다. 우리는 미래 특징(feature) 예측과 희소(sparse) 점 추적이 자연스럽게 상호 보완적이라고 주장한다. 전자는 목표 상태를 제공하고, 후자는 이를 향한 연속적 동작 경로를 포착한다. 우리는 FoMoVLA를 제안한다. 이는 미래 특징 예측(foresight)과 희소 2D 점 추적을 공동 학습하여 명시적 시공간(spatio-temporal) 감독으로 VLA 표현(representation)을 보강하고, 연속 동작 정책(continuous action policy)을 향상시키는 프레임워크이다. FoMoVLA는 미래 특징 상태를 디코딩하기 위한 compact foresight 토큰을 도입하고, 희소 시간적 2D 점 궤적을 디코딩하여 compact 기하학적 동작을 모델링하며, 예측된 상태와 점 역학(point dynamics) 간의 일관된 추론을 가능하게 하는 경량 미래 조건(future-conditioned) 크로스-어텐션(cross-attention) 모듈을 통해 둘을 결합한다. LIBERO, RoboCasa GR-1 Tabletop, LIBERO-Plus에서의 광범위한 실험은 최첨단(state-of-the-art) 성능과 강력한 제로샷(zero-shot) 일반화를 보여준다. 프로젝트 페이지는 https://liauto-research.github.io/FoMoVLA 에서 확인할 수 있다.
현재 시각-언어-행동(VLA) 벤치마크는 주로 독립적인 조작 기술을 평가하지만, 인간-로봇 상호작용 구조는 거의 모델링하지 않는다. 그러나 실세계 협업은 본질적으로 공유된 주체성(shared agency) 아래의 조율을 요구하며, 여기에는 의도 이해, 시간적 동기화, 프로토콜 준수, 동적 환경에서의 안전한 상호작용이 포함된다. 이 공백을 해소하기 위해, 우리는 실행 가능한 상호작용 시나리오에 기반한 의도 인식(intent-aware) 인간-로봇 협업을 위한 진단 벤치마크인 HRIBench를 제안한다. HRIBench는 협업 태스크를 구조화된 시나리오 스크립트로 표현하며, 에이전트 역할, 시간적 의존성, 조율 제약, 인간 행동 분포를 명시적으로 모델링한다. 이 추상화를 바탕으로 HRIBench는 Instructor, Collaborator, Intruder의 세 가지 대표적 상호작용 역할을 정의하며, 의도 전달, 공동 조율, 인간 개입 하에서의 견고성을 포괄한다. 이 벤치마크는 다양한 상호작용 궤적과 장면 변형으로 생성된 650개 이상의 평가 에피소드를 갖춘 13개의 역할 조건부 태스크를 포함한다. 이진 태스크 성공 여부를 넘어, HRIBench는 동기화, 반응성, 프로토콜 준수, 안전성에 걸친 해석 가능한 상호작용 중심 지표를 도입한다. 우리는 통합 프로토콜 하에서 GR00T, pi0.5, ACT에 기반한 적응 정책을 평가한다. 결과는 현재 파운데이션 로봇 정책이 강한 조작 능력에도 불구하고 협업 설정에서 상당히 어려움을 겪으며, 시간적 조율과 의도 인식 행동에서 주요 한계를 드러냄을 보여준다. HRIBench에서의 미세조정은 협업 성능을 일관되게 향상시킨다. 실세계 적응 연구에서 HRIBench가 생성한 시뮬레이션 데이터는 GR00T N1.5의 물리 태스크 성공률을 0.10에서 0.43으로 높여, 상호작용 중심 로봇 학습을 발전시키는 데 있어 이 벤치마크의 가치를 입증한다.