SpanVLA: 비전-언어-행동 모델을 위한 빠른 행동 브리징 및 부정-복구 샘플 기반 학습
SpanVLA: Learning from Negative-Recovery Samples with Fast Action Bridging for Vision-Language-Action Model
한국어 초록
비전-언어-행동(VLA, Vision-Language-Action) 모델은 자율주행에 풍부한 세상 지식과 추론 능력을 제공합니다. 그러나 대부분의 주행 VLA 모델은 긍정적인 전문가 시연만으로 학습되어, 무엇을 해야 하는지는 가르치지만 피해야 할 행동과 이러한 실패로부터 복구하는 방법에 대해서는 제한적인 감독 정보만을 제공하므로 견고성(robustness)이 제한됩니다. 본 연구에서는 부정 및 복구 샘플로부터 학습하기 위한 최초의 실제 주행 데이터셋이자 벤치마크인 nuReasoning-NR과 함께, 견고하고 효율적인 주행 VLA 모델인 SpanVLA를 소개합니다. nuReasoning의 확장판인 이 데이터셋은 3,000개의 차선(suboptimal) 궤적과 3,000개의 전문가 복구 궤적을 포함하여, 36,000개의 추론 집약적 주행 시나리오로 구성됩니다. 이러한 비대칭적 감독 정보를 활용하기 위해 바람직하지 않은 행동에는 페널티를 부여하고 전문가의 교정 행동에는 보상을 제공하는 부정-복구 강화 미세조정(NR-RFT)을 도입합니다. 까다로운 시나리오에서는 유사한 차선 궤적 또는 심지어 실행 불가능한 궤적이 지배적인 롤아웃 그룹이 생성되기 때문에, 유익한 최적화 신호를 보존하고 탐험을 장려하기 위한 이점 보정(advantage correction)을 추가로 통합합니다. 효율적인 행동 생성을 위해 SpanVLA는 자기회귀 추론을 유지하면서도, 희소 층(sparse-layer) KV 캐시를 조건으로 하고 과거 궤적으로부터 초기화되는 경량 플로우 매칭 행동 브릿지를 도입합니다. NAVSIM v1/v2, nuReasoning, nuReasoning-NR 벤치마크에 대한 광범위한 실험은 강력하고 견고한 계획 성능과 효율적인 행동 생성을 입증합니다. 다양하고 도전적인 시나리오에 대한 정성적 결과는 계획의 견고성과 복구 능력을 더욱 강조합니다. 향후 연구를 지원하기 위해 데이터셋과 벤치마크 코드가 공개될 예정입니다.
원문 초록
Vision-Language-Action (VLA) models bring rich world knowledge and reasoning capabilities to autonomous driving. However, most driving VLAs are trained only on positive expert demonstrations, which teach models what to do but provide limited supervision on which behaviors to avoid and how to recover from these failures, leading to limited robustness. We introduce SpanVLA, a robust and efficient driving VLA, together with nuReasoning-NR, the first real-world driving dataset and benchmark for learning from negative and recovery samples. An extension of nuReasoning, it comprises 36K reasoning-intensive driving scenarios, including 3K suboptimal trajectories and 3K expert recovery trajectories. To exploit their asymmetric supervision, we introduce Negative--Recovery Reinforcement Fine-Tuning (NR-RFT), which penalizes undesirable behaviors and rewards expert corrective actions. Because challenging scenarios produce rollout groups dominated by similar suboptimal or even infeasible trajectories, it further incorporates an advantage correction to preserve informative optimization signals and encourage exploration. For efficient action generation, SpanVLA retains autoregressive reasoning and introduces a lightweight flow-matching action bridge conditioned on sparse-layer KV caches and initialized from the historical trajectory. Extensive experiments on NAVSIM v1/v2, nuReasoning, and the nuReasoning-NR benchmark demonstrate strong and robust planning performance and efficient action generation. Qualitative results across diverse challenging scenarios further highlight its planning robustness and recovery capability. The dataset and benchmark code will be released to support future research.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비전-언어-행동 모델을 위한 월드 기반 보정 제안-행동 흐름
World-Calibrated Proposal-to-Action Flow for Vision-Language-Action Models
흐름 기반 비전-언어-행동(VLA) 정책은 작업 무관 등방성 가우시안 소스로부터 샘플을 이송하여 행동 청크를 생성합니다. 이러한 소스는 최근 실행 내용이나 예측된 미래 변화 모두에 조건화되지 않기 때문에, (i) 최근 실행된 모션에 의해 확립된 국소적 연속성을 상실합니다. (ii) 예측형 월드 표현이 도입되더라도, 이는 생성이 시작되는 위치, 벗어날 수 있는 허용 범위, 또는 행동이 확장될 수 있는 방향을 결정하기보다는 이송 동역학만을 조건화하는 데 그치는 경우가 많습니다. 이러한 관찰에 착안하여, 본 연구는 생성 소스 자체를 예측 가능하게 만드는 월드 기반 보정 제안-행동(proposal-to-action) 프레임워크인 ProAct를 제안합니다. (i) 모션 연속성을 보존하기 위해, 경량 제안 전문가(Proposal Expert)는 1단계의 모션 앵커 기반 종점 흐름 매칭을 통해 최근 행동들을 장면 인지 가설로 변환함으로써 실증된 행동 다양체 근처에서 생성을 시작하도록 합니다. (ii) 의도된 장면 변화와 제안-미래 간의 호환성을 함께 포착하기 위해, 미래지향적 월드 전문가(World Expert)는 해당 가설을 연성 모션 사전분포로 취급하면서 작업 일관적인 잠재 미래를 예측합니다. (iii) 모델은 이러한 호환성으로부터 제안 중심 비등방성 소스를 보정하며, 여기서 유계된 스텝당 범위는 허용된 편차를 제어하고 조건수 예산 하의 대각합 정규화 저계수 기하는 결합된 병진, 회전, 그리퍼 방향 전반에 걸쳐 정제를 할당합니다. $\pi_{0.5}$와 비교하여, ProAct는 디노이징 스텝을 50% 줄이고 추론 지연 시간을 최대 25.8% 단축하며 처리량을 최대 34.8% 향상시키는 동시에 시뮬레이션 및 실제 환경 작업 전반에서 성능을 개선합니다.
추론이 행동에 도움이 되는 순간: 비전-언어-행동 정책에서 사고의 연쇄 모니터링 및 조향
When Reasoning Helps Action: Monitoring and Steering Chain-of-Thought in Vision-Language-Action Policies
추론 기능이 활성화된 VLA(Vision-Language-Action) 정책은 행동을 설명하고 안내하는 것처럼 보이는 사고의 연쇄(CoT, Chain-of-Thought) 궤적을 드러내며, 이는 추론 모니터링 및 수정을 통한 런타임 안전성의 잠재적 인터페이스를 형성합니다. 본 연구에서는 이러한 인터페이스가 구체화된(embodied) 행동을 언제 개선할 수 있는지 평가하기 위한 두 가지 평가 축을 정의하고 구체화합니다. 하나는 생성 과정에서 신뢰할 수 없는 추론을 감지하고 개선할 수 있는지를 측정하는 수정 가능성(correctability)이며, 다른 하나는 추론 수정이 의도된 방향으로 행동상 의미 있는 변화를 만들어내는지를 측정하는 실행 가능성(actionability)입니다. 수정 가능성을 실현하기 위해, 부분적인 접두사로부터 최종 추론 정확도를 예측하고 이러한 추정치를 활용하여 동결된 VLA 정책의 추론 생성을 모니터링하고 선택적으로 조향하는 오프라인 학습 가치 모델인 TRUST(Token-level Reward for Utility-Steered Chain-of-Thought)를 도입합니다. 주행 VLA인 Alpamayo 1.5에서 TRUST는 88.9%의 정확도로 정확성을 모니터링하고 추론 정확도를 75.9%에서 90.0%로 향상시킵니다. AlpaSim의 기준선(baseline) 정의 고난도 서브셋에서 TRUST는 조향되지 않은 정책 대비 충돌률을 30.4%, 최대 궤적 오차를 11.5% 감소시켜 연산량을 맞춘 Best-of-4 기준선보다 우수한 성능을 보입니다. 조작 VLA인 DeepThinkVLA에서 TRUST는 파지 상태 주장의 정확도를 69.3%에서 90.2%로, 행동 선택 주장의 정확도를 68.8%에서 85.9%로 개선하지만, LIBERO-Plus에서의 폐루프(closed-loop) 태스크 성능은 대체로 변함없이 유지됩니다. 실증적 분석을 통해 Alpamayo 1.5에서는 의도와 일치하는 행동 효과가 나타나지만 DeepThinkVLA에서는 효과가 제한적임을 확인하여, 태스크 수준에서 나타난 서로 다른 결과를 해석하는 데 도움을 줍니다. 종합적으로 본 연구 결과는 추론 정확도의 향상이 구체화된 성능의 향상을 자동으로 의미하지는 않음을 보여주며, CoT를 런타임 안전 인터페이스로 활용할 때 수정 가능성과 실행 가능성을 함께 평가해야 할 필요성을 시사합니다.
NarrativeFlow: 로봇 속도장을 활용한 흐름 기반 비전-언어-행동 모델
NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields
본 연구에서는 로봇 플로우(로봇 속도장)가 여러 로봇 플랫폼에서 수집된 데이터를 활용하기 위한 임베디먼트 독립적(embodiment-agnostic)이자 동작 중심의 표현으로 기능하는 언어 조건부 흐름 기반 조작에 주목합니다. 언어 조건부 조작은 실용적인 로봇 시스템에 필수적이지만, 로봇 파운데이션 모델(foundation model)의 스케일링(scaling)은 특정 임베디먼트 데이터 수집에 많은 노동력이 소요된다는 점으로 인해 여전히 제한되어 있어 이 과제는 매우 중요합니다. 기존 방식들은 희소한 키포인트 변위로 로봇 플로우를 대략적으로 근사하거나, 언어 조건부 조작을 다루지 못합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 언어를 조건으로 하는 플로우 매칭(flow-matching) 정식화를 사용하여 로봇 플로우를 연속적인 속도장으로 모델링하는 NarrativeFlow를 제안합니다. 이에 따라 NarrativeFlow는 실제 세계의 조작과 물리적으로 일관된 로봇 플로우를 생성합니다. NarrativeFlow를 검증하기 위해 언어 조건부 조작 표준 데이터셋에서 실험을 수행했습니다. 실험 결과, NarrativeFlow는 표준 평가 지표에서 대표적인 기준선(baseline) 방법들보다 우수한 성능을 보였습니다. 나아가 실제 세계 실험을 통해 NarrativeFlow가 여러 조작 작업 전반에서 기준선 방법들보다 더 높은 성공률을 달성함을 보입니다. 프로젝트 페이지는 https://shota0520.github.io/NarrativeFlow-project-page/ 에서 확인할 수 있습니다.
언어는 줄이고 잠재 표현은 늘리다: 주행을 위한 어노테이션 효율적 VLA
Less Language, More Latents: Annotation-Efficient VLAs for Driving
비전-언어-행동 모델(VLA)은 사람이 조향할 수 있는 자율주행을 가능하게 할 것으로 기대되지만, 학습은 자연어 지시문과 짝지어진 프레임이 부족하다는 점에서 병목을 겪습니다. 카메라 스트림과 전문가 궤적은 대규모로 기록되는 반면, 언어 어노테이션(예: 교차로에서 좌회전)은 여전히 부족하고 확보하는 데 비용이 많이 듭니다. 이 문제를 해결하기 위해 우리는 풍부한 비라벨 관측-궤적 쌍을 언어 조건부 제어의 기반으로 변환하는 3단계 파이프라인인 Latent Action Driving Annotations(LADA)를 제안합니다. 첫째, 벡터 양자화(vector-quantised) 병목을 가진 잠재 행동 모델(latent action model)을 학습하여 상위 수준의 차량 의도를 담은 간결한 코드북을 만듭니다. 둘째, 언어 어노테이션이 있는 소규모 부분집합을 사용해 관측과 언어 지시문을 이 코드북으로 매핑하는 비전-언어 번역기를 학습합니다. 셋째, 라벨이 없는 전체 코퍼스에 대해 관측-잠재 행동 쌍으로 주행 VLA를 학습합니다. LADA는 언어 어노테이션의 5% 미만만 사용하고 보조적인 사고의 연쇄(chain-of-thought) 추론이나 시각 질의응답 스트림을 전혀 활용하지 않으면서도, 폐루프(closed-loop) Bench2Drive 벤치마크에서 Driving Score 87.98, Success Rate 70.46%를 달성하여 완전 지도학습 기반 베이스라인과 대등하거나 이를 능가합니다.
비전-언어 로봇 조작에서 퓨샷 일반화를 위한 작업-프로토타입 유도 플로우 매칭
Task-Prototype Guided Flow Matching for Few-Shot Generalization in Vision-Language Robot Manipulation
비전-언어 로봇 조작 정책은 의미적 지시를 따를 수 있지만, 소수의 시연만으로 새로운 절차에 적응하는 것은 언어가 접촉 시점, 동작 단계, 교정 행동, 실행 스타일을 충분히 명시하지 않기 때문에 여전히 어렵다. 본 논문은 지원(support) 시연을 구조화된 작업-프로토타입 토큰으로 변환하고 이를 초기 플로우 사전분포와 속도장 모두를 유도하는 데 사용하는 퓨샷 조작 프레임워크인 Task-Prototype Guided Flow Matching(TP-Flow)을 제안한다. TP-Flow는 학습 가능한 쿼리를 갖춘 대칭 크로스-어텐션으로 단계 수준 프로토타입을 추출하고, 작업 적응형 초기 분포를 매개변수화하며, 게이트된 적응형 정규화를 통해 프로토타입 정보를 주입한다. 에피소드식 지원-쿼리 목적 함수와 프로토타입 대비 정규화로 학습하여, 학습 중 퓨샷 적응을 시뮬레이션하면서 방해 정보를 억제한다. LEROBOT-ARM-SO101 플랫폼에서 TP-Flow는 1-, 4-, 6-shot 설정에서 각각 66.8%, 79.6%, 82.1%의 성공률을 달성하였으며, 퓨샷 AUC는 75.5%이다. 1-shot에서 CFM, Pooled-Demo CFM, In-Context Flow 대비 각각 29.8, 14.5, 9.9 퍼센트포인트 향상을 보인다. 또한 새로운 객체 전이, 목표 재조합, 장기 지평 구성, 접촉/교정 작업에 걸친 보류(hold-out) 대상 그룹 일반화도 개선한다. TP-Flow는 6개의 온라인 프로토타입 토큰, 54.3 ms 지연, 3.9 GB 피크 메모리, 10 Hz 제어 주파수로 실시간 실행을 유지하면서, 노이즈가 있는 지원에서의 성공률 하락을 6.2%로 줄인다. 이론적 진단은 프로토타입 거리가 동작 분포 거리와 정렬되고, 적응형 사전분포가 수송(transport) 비용을 줄이며, 게이트 변조가 측정된 궤적 편차를 도출된 ODE 상한 이하로 유지함을 보여준다. 익명 심사를 위해 코드 저장소는 생략하였다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page: https://spanvla.github.io/