Learning-based Robust Motion Planning with Guaranteed Stability: A Contraction Theory Approach
원문 초록
This paper presents Learning-based Autonomous Guidance with RObustness and Stability guarantees (LAG-ROS), which provides machine learning-based nonlinear motion planners with formal robustness and stability guarantees, by designing a differential Lyapunov function using contraction theory. LAG-ROS utilizes a neural network to model a robust tracking controller independently of a target trajectory, for which we show that the Euclidean distance between the target and controlled trajectories is exponentially bounded linearly in the learning error, even under the existence of bounded external disturbances. We also present a convex optimization approach that minimizes the steady-state bound of the tracking error to construct the robust control law for neural network training. In numerical simulations, it is demonstrated that the proposed method indeed possesses superior properties of robustness and nonlinear stability resulting from contraction theory, whilst retaining the computational efficiency of existing learning-based motion planners.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
조건부 플로우 매칭을 통한 효율적인 멀티태스크 조작 정책 지식 증류
Distillation for Efficient Multitask Manipulation Policies via Conditional Flow Matching
최근 로봇 공학의 정책 학습(policy learning) 분야에서는 생성 모델링의 발전이 광범위하게 활용되고 있습니다. 특히 전문가 시연(demonstration)을 통해 학습된 조건부 플로우 매칭(Conditional Flow Matching, CFM)은 로봇 조작 벤치마크에서 기존 방법들을 능가하는 성능을 보여주었습니다. 이전 연구들은 주로 단일 태스크(single-task) 설정에 집중했으나, 각 태스크마다 독립적인 모델을 학습하는 것은 연산 비용이 많이 들기 때문에 본 연구에서는 이 문제를 멀티태스크(multi-task) 관점에서 다룹니다. 멀티태스크 정책 학습은 고유한 어려움을 수반하는데, 단순히 연결된 시연 데이터셋으로 순진하게 학습(naive training)할 경우 추가된 복잡성을 수용하기 위해 모델 용량을 늘려야 하거나 성능 저하가 발생하기 때문입니다. 이에 본 논문에서는 단일 태스크 CFM 전문가의 학습된 속도장(velocity field)을 전이함으로써 이들의 지식을 공유 멀티태스크 정책으로 증류(distillation)하는 방법을 제안합니다. 또한 시연에 대한 충실도를 유지하기 위해 이 증류 신호를 기존 CFM 목적 함수와 결합합니다. RLBench를 통한 실험 결과, 제안하는 접근 방식은 고정된 모델 크기를 유지하면서도 순진한 학습 방식 대비 멀티태스크 정책 성능을 향상시키는 것으로 나타났습니다.
CereVLA: 효율적인 비전-언어-행동 실행을 위한 소뇌 영감 결과 인지 잔차 제어
CereVLA: Cerebellum-Inspired Consequence-Aware Residual Governance for Efficient Vision-Language-Action Execution
행동 청크 기반 비전-언어-행동(VLA) 정책은 추론 효율성을 향상하지만, 확정된 행동 청크 내의 제한된 피드백으로 인해 실행 오류가 누적될 수 있습니다. 잔차 적응(residual adaptation)은 VLA를 재학습하지 않고도 이러한 편차를 교정할 수 있지만, 기존의 교정 방식은 다운스트림 결과를 명시적으로 고려하지 않고 참조 행동 일관성에 맞춰 최적화되는 것이 일반적입니다. 이러한 한계를 해결하기 위해, 우리는 동결된 VLA 실행에 경량 잔차 개선과 예측적 결과 평가를 통합한 통합 프레임워크인 소뇌 영감 결과 인지 잔차 제어(CereVLA)를 제시합니다. 먼저 플로우 기반 잔차 개선을 통해 교정 행동을 생성한 후, 순환 상태 공간 모델과 이력 인지 분류기를 통해 단기 및 구간 단위 시계(interval-horizon)의 결과를 평가합니다. 바람직하지 않은 것으로 예측된 잔차 교정은 경량 거버너(governor)에 의해 선별적으로 억제됩니다. LIBERO-10 및 LIBERO-GOAL에서 최신 기법들과 비교하여 CereVLA의 효과를 입증합니다. SO-101에서 CereVLA는 동결된 SmolVLA 기준선 대비 작업 성공률을 57.5%에서 90.0%로 향상하고, 성공한 시도들에서 평균 제어 스텝을 19.6% 줄입니다.
AWM-VLA: 효율적이고 설명 가능한 비전-언어-행동 정책을 위한 정렬 세계 모델링
AWM-VLA: AlignedWorld Modeling for Efficient and Explainable Vision-Language-Action Policies
비전-언어-행동(VLA) 모델은 범용 로봇 조작을 위한 강력한 패러다임이 되었지만, 종종 반응적이다. 정책은 의사결정의 장기적 결과를 추론하지 않고 현재 관측을 행동 청크에 직접 매핑한다. 정책에 세계 모델을 부여하려는 기존 시도는 픽셀 공간에서 미래 프레임을 재구성하는 방식——비용이 크고 과업과 무관한 세부가 지배적——이거나, 세계 모델을 정책과 분리하여 제어를 약화시키는 방식이었다. 우리는 확산-트랜스포머 정책 내부에 정렬된 세계 모델링을 직접 내장하는 통합 프레임워크 AWM-VLA를 제안한다. Future Latent REpresentation Alignment(FLARE) 원칙에 따라, 학습 가능한 미래 토큰을 추가하고 그 중간 활성화를 미래 관측의 비전-언어 임베딩과 정렬하여, 정책이 행동을 생성하면서 장기적 결과를 예측할 수 있게 한다. 이 패러다임을 두 가지로 확장한다. 첫째, 전역 미래 임베딩과 함께 미래 객체 수준 의미를 예측하는 객체 중심 분리 정렬 목표를 도입하여 해석 가능성과 다중 지시 일반화를 모두 개선한다. 둘째, 원칙적인 가중치로 전역·객체 중심 정렬 항과 행동 flow-matching 손실의 균형을 맞춰, 제어 가능한 정확도–해석 가능성 트레이드오프를 얻는다. RoboCasa 및 휴머노이드 탁상 조작 벤치마크에서 AWM-VLA는 성공률 기준으로 기존 VLA 및 세계 모델 베이스라인을 최대 21% 능가하고, 새로운 객체와 지시에 대한 일반화를 개선하며, 인간 평가자가 83%의 경우에서 선호하는 객체 중심 근거를 생성한다. 본 접근은 정책에 학습 가능한 토큰 소수만 추가하며 임의의 확산이나 flow-matching 정책과 호환되어, 정렬된 세계 모델링을 범용 조작의 저비용·광범위 적용 가능한 구성요소로 만든다.
InternW0: 효율적인 실세계 상호작용을 위한 기반 물리 세계 모델
InternW0: A Foundational Physical World Model for Efficient Real-World Interactions
물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.
vla.simd: 언어 조건부 조작을 위한 효율적인 CPU 추론
vla.simd: Efficient CPU Inference for Language-Conditioned Manipulation
전용 GPU 없이 언어 조건부 조작을 배포하려면 효율적인 추론과 정책 쿼리 간 지연을 메워주는 액션 청크(action chunk)가 필요합니다. 본 논문에서는 공유 SIMD 마이크로 커널, 재사용 가능한 연산, 타깃 맞춤형 최적화를 결합한 CPU 추론 엔진인 vla.simd를 소개합니다. 지연(lagged) 및 시간 정렬(time-aligned) 실행 환경에서 쿼리 지연 시간과 실행 구간(execution horizon)을 액션 가용성과 연계하여 액션 공급과 피드백 빈도를 구분합니다. 6개 정책과 4개 CPU 전반에서, vla.simd는 fp32 수치적 충실도를 유지하면서 컴파일된 PyTorch 레퍼런스 대비 중앙값 기준 약 1.4배의 속도 향상을 달성합니다. 또한 캐시된 텍스트 표현과 언어 변조된 시각적 특징을 활용하는 ACT 기반 정책인 IMPACT를 소개합니다. IMPACT는 평가된 세트 중 라즈베리 파이 5(Raspberry Pi 5)에서 최소 30 actions/s를 공급하는 유일한 언어 조건부 정책으로, 90초간 열 포화(thermal soak) 후 fp32에서 33.5 actions/s, int8에서 81.2 actions/s를 공급합니다. 별도의 GPU 평가에서는 로봇 사전학습 없이 4개의 LIBERO 제품군 전반에서 76.4%의 평균 성공률을 기록했으며, 인스트럭션 셔플링(instruction-shuffling) 테스트를 통해 익숙한 목표 중 선택이 가능함을 보였습니다. SO-101 로봇 팔을 활용한 IMPACT 실험 및 Robotiq 그리퍼가 장착된 UR10e 환경에서의 SmolVLA 실험을 통해 두 가지 로봇 임바디먼트(embodiment)에서의 CPU 배포를 입증합니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.