비전-언어 로봇 조작에서 퓨샷 일반화를 위한 작업-프로토타입 유도 플로우 매칭
Task-Prototype Guided Flow Matching for Few-Shot Generalization in Vision-Language Robot Manipulation
한국어 초록
비전-언어 로봇 조작 정책은 의미적 지시를 따를 수 있지만, 소수의 시연만으로 새로운 절차에 적응하는 것은 언어가 접촉 시점, 동작 단계, 교정 행동, 실행 스타일을 충분히 명시하지 않기 때문에 여전히 어렵다. 본 논문은 지원(support) 시연을 구조화된 작업-프로토타입 토큰으로 변환하고 이를 초기 플로우 사전분포와 속도장 모두를 유도하는 데 사용하는 퓨샷 조작 프레임워크인 Task-Prototype Guided Flow Matching(TP-Flow)을 제안한다. TP-Flow는 학습 가능한 쿼리를 갖춘 대칭 크로스-어텐션으로 단계 수준 프로토타입을 추출하고, 작업 적응형 초기 분포를 매개변수화하며, 게이트된 적응형 정규화를 통해 프로토타입 정보를 주입한다. 에피소드식 지원-쿼리 목적 함수와 프로토타입 대비 정규화로 학습하여, 학습 중 퓨샷 적응을 시뮬레이션하면서 방해 정보를 억제한다. LEROBOT-ARM-SO101 플랫폼에서 TP-Flow는 1-, 4-, 6-shot 설정에서 각각 66.8%, 79.6%, 82.1%의 성공률을 달성하였으며, 퓨샷 AUC는 75.5%이다. 1-shot에서 CFM, Pooled-Demo CFM, In-Context Flow 대비 각각 29.8, 14.5, 9.9 퍼센트포인트 향상을 보인다. 또한 새로운 객체 전이, 목표 재조합, 장기 지평 구성, 접촉/교정 작업에 걸친 보류(hold-out) 대상 그룹 일반화도 개선한다. TP-Flow는 6개의 온라인 프로토타입 토큰, 54.3 ms 지연, 3.9 GB 피크 메모리, 10 Hz 제어 주파수로 실시간 실행을 유지하면서, 노이즈가 있는 지원에서의 성공률 하락을 6.2%로 줄인다. 이론적 진단은 프로토타입 거리가 동작 분포 거리와 정렬되고, 적응형 사전분포가 수송(transport) 비용을 줄이며, 게이트 변조가 측정된 궤적 편차를 도출된 ODE 상한 이하로 유지함을 보여준다. 익명 심사를 위해 코드 저장소는 생략하였다.
원문 초록
Vision-language robot manipulation policies can follow semantic instructions, but adapting them to a new procedure from only a few demonstrations remains difficult because language underspecifies contact timing, motion phases, corrective behavior, and execution style. This paper presents Task-Prototype Guided Flow Matching (TP-Flow), a few-shot manipulation framework that converts support demonstrations into structured task-prototype tokens and uses them to guide both the initial flow prior and the velocity field. TP-Flow employs symmetric cross-attention with learnable queries to extract phase-level prototypes, parameterizes a task-adaptive initial distribution, and injects prototype information through gated adaptive normalization. It is trained with an episodic support-query objective and prototype contrastive regularization, so few-shot adaptation is simulated during training while nuisance information is suppressed. On the LEROBOT-ARM-SO101 platform, TP-Flow achieves 66.8\%, 79.6\%, and 82.1\% success rates under 1-, 4-, and 6-shot settings, with a 75.5\% few-shot AUC. At 1-shot, it improves over CFM, Pooled-Demo CFM, and In-Context Flow by 29.8, 14.5, and 9.9 percentage points. It also improves held-out target-group generalization across novel-object transfer, goal recombination, long-horizon composition, and contact/correction tasks. TP-Flow maintains real-time execution with six online prototype tokens, 54.3 ms latency, 3.9 GB peak memory, and a 10 Hz control rate, while reducing the noisy-support success drop to 6.2\%. Theoretical diagnostics show that prototype distance aligns with action-distribution distance, the adaptive prior reduces transport cost, and gated modulation keeps measured trajectory deviations below the derived ODE bound. The code repository is omitted for anonymous review.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27780v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비전-언어-행동 모델을 위한 월드 기반 보정 제안-행동 흐름
World-Calibrated Proposal-to-Action Flow for Vision-Language-Action Models
흐름 기반 비전-언어-행동(VLA) 정책은 작업 무관 등방성 가우시안 소스로부터 샘플을 이송하여 행동 청크를 생성합니다. 이러한 소스는 최근 실행 내용이나 예측된 미래 변화 모두에 조건화되지 않기 때문에, (i) 최근 실행된 모션에 의해 확립된 국소적 연속성을 상실합니다. (ii) 예측형 월드 표현이 도입되더라도, 이는 생성이 시작되는 위치, 벗어날 수 있는 허용 범위, 또는 행동이 확장될 수 있는 방향을 결정하기보다는 이송 동역학만을 조건화하는 데 그치는 경우가 많습니다. 이러한 관찰에 착안하여, 본 연구는 생성 소스 자체를 예측 가능하게 만드는 월드 기반 보정 제안-행동(proposal-to-action) 프레임워크인 ProAct를 제안합니다. (i) 모션 연속성을 보존하기 위해, 경량 제안 전문가(Proposal Expert)는 1단계의 모션 앵커 기반 종점 흐름 매칭을 통해 최근 행동들을 장면 인지 가설로 변환함으로써 실증된 행동 다양체 근처에서 생성을 시작하도록 합니다. (ii) 의도된 장면 변화와 제안-미래 간의 호환성을 함께 포착하기 위해, 미래지향적 월드 전문가(World Expert)는 해당 가설을 연성 모션 사전분포로 취급하면서 작업 일관적인 잠재 미래를 예측합니다. (iii) 모델은 이러한 호환성으로부터 제안 중심 비등방성 소스를 보정하며, 여기서 유계된 스텝당 범위는 허용된 편차를 제어하고 조건수 예산 하의 대각합 정규화 저계수 기하는 결합된 병진, 회전, 그리퍼 방향 전반에 걸쳐 정제를 할당합니다. $\pi_{0.5}$와 비교하여, ProAct는 디노이징 스텝을 50% 줄이고 추론 지연 시간을 최대 25.8% 단축하며 처리량을 최대 34.8% 향상시키는 동시에 시뮬레이션 및 실제 환경 작업 전반에서 성능을 개선합니다.
NarrativeFlow: 로봇 속도장을 활용한 흐름 기반 비전-언어-행동 모델
NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields
본 연구에서는 로봇 플로우(로봇 속도장)가 여러 로봇 플랫폼에서 수집된 데이터를 활용하기 위한 임베디먼트 독립적(embodiment-agnostic)이자 동작 중심의 표현으로 기능하는 언어 조건부 흐름 기반 조작에 주목합니다. 언어 조건부 조작은 실용적인 로봇 시스템에 필수적이지만, 로봇 파운데이션 모델(foundation model)의 스케일링(scaling)은 특정 임베디먼트 데이터 수집에 많은 노동력이 소요된다는 점으로 인해 여전히 제한되어 있어 이 과제는 매우 중요합니다. 기존 방식들은 희소한 키포인트 변위로 로봇 플로우를 대략적으로 근사하거나, 언어 조건부 조작을 다루지 못합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 언어를 조건으로 하는 플로우 매칭(flow-matching) 정식화를 사용하여 로봇 플로우를 연속적인 속도장으로 모델링하는 NarrativeFlow를 제안합니다. 이에 따라 NarrativeFlow는 실제 세계의 조작과 물리적으로 일관된 로봇 플로우를 생성합니다. NarrativeFlow를 검증하기 위해 언어 조건부 조작 표준 데이터셋에서 실험을 수행했습니다. 실험 결과, NarrativeFlow는 표준 평가 지표에서 대표적인 기준선(baseline) 방법들보다 우수한 성능을 보였습니다. 나아가 실제 세계 실험을 통해 NarrativeFlow가 여러 조작 작업 전반에서 기준선 방법들보다 더 높은 성공률을 달성함을 보입니다. 프로젝트 페이지는 https://shota0520.github.io/NarrativeFlow-project-page/ 에서 확인할 수 있습니다.
Xiaomi-Robotics-1: 10만 시간 이상의 실세계 궤적으로 비전-언어-액션 모델 스케일링
Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World Trajectories
우리는 Xiaomi-Robotics-1을 제시한다. 이는 (1) 다양한 언어 지시를 따라 보지 못한 환경에서 즉시(out-of-the-box) 광범위한 이동 조작(mobile manipulation) 작업을 수행할 수 있고, (2) 최소한의 미세조정 데이터로 새로운 하류(downstream) 작업에 효율적으로 적응할 수 있는 기초 비전-언어-액션(VLA) 모델이다. 우리는 사전학습과 사후 학습으로 구성된 2단계 학습 레시피를 제안한다. 사전학습 동안 UMI 장치를 통해 수집된 10만 시간 이상의 실세계 조작 궤적으로 학습하여 모델에 폭넓고 일반화 가능한 액션 생성 능력을 부여한다. 핵심적으로, 장면 상태 전환을 설명하는 자연어로 궤적 클립에 주석을 달아 액션 학습을 위한 풍부하고 정확한 조건화(conditioning)를 제공하는 확장 가능한 자동 라벨링 파이프라인을 개발했다. 사후 학습 동안에는 이러한 능력을 로봇 embodiment 및 인간이 로봇에 프롬프트할 때 자연스럽게 사용하는 명령형 지시와 정렬(alignment)하는 것을 목표로 한다. 광범위한 실험은 강한 스케일링(scaling) 특성을 보여준다. Xiaomi-Robotics-1은 사전학습 동안 데이터 규모와 모델 크기가 증가함에 따라 일관되게 개선된다. 이러한 스케일링 특성은 사후 학습으로 직접 전이되며, 더 강력한 사전학습 모델이 보지 못한 환경에서 더 나은 즉시(out-of-the-box) 실로봇 성능을 제공한다. 또한 Xiaomi-Robotics-1은 복잡하고 정교한(dexterous) 작업에 높은 데이터 효율로 효율적으로 미세조정할 수 있는 강력한 로봇 기초 정책(foundation policy) 역할을 한다. 여러 시뮬레이션 벤치마크에서 Xiaomi-Robotics-1은 최신(state-of-the-art) 방법들을 능가한다. 특히 RoboCasa365에서 57.4%의 성공률로 새로운 최고 성능(state-of-the-art)을 수립하여 이전 최고 기록 46.6%를 넘어선다. 또한 RoboDojo에서 평균 20.07점을 달성하여 이전 최고 성능(13.07)을 크게 능가한다. 코드와 모델 체크포인트가 공개될 예정이다. 프로젝트 페이지: https://robotics.xiaomi.com/xiaomi-robotics-1.html
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
표현 앵커링과 언어-행동 정렬을 통한 일반화 가능한 VLA 파인튜닝
Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment
JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크
JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation
비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.