arXiv:2311.14153

Tube-NeRF: Efficient Imitation Learning of Visuomotor Policies from MPC using Tube-Guided Data Augmentation and NeRFs

Andrea Tagliabue, Jonathan P. How

제출 2023-11-23

원문 초록

Imitation learning (IL) can train computationally-efficient sensorimotor policies from a resource-intensive Model Predictive Controller (MPC), but it often requires many samples, leading to long training times or limited robustness. To address these issues, we combine IL with a variant of robust MPC that accounts for process and sensing uncertainties, and we design a data augmentation (DA) strategy that enables efficient learning of vision-based policies. The proposed DA method, named Tube-NeRF, leverages Neural Radiance Fields (NeRFs) to generate novel synthetic images, and uses properties of the robust MPC (the tube) to select relevant views and to efficiently compute the corresponding actions. We tailor our approach to the task of localization and trajectory tracking on a multirotor, by learning a visuomotor policy that generates control actions using images from the onboard camera as only source of horizontal position. Numerical evaluations show 80-fold increase in demonstration efficiency and a 50% reduction in training time over current IL methods. Additionally, our policies successfully transfer to a real multirotor, achieving low tracking errors despite large disturbances, with an onboard inference time of only 1.5 ms. Video: https://youtu.be/_W5z33ZK1m4

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02339v1cs.RO공통 태그 Data Augmentation, Imitation Learning

NEEDLEWORK: 검증된 로컬 스티칭을 통한 로봇 데이터의 오프라인 재작성

NEEDLEWORK: Offline Rewriting of Robot Data with Verified Local Stitches

로봇 시연(demonstration) 데이터는 개별 에피소드가 비효율적이거나 실패하더라도 유용한 행동을 포함할 수 있습니다. 궤적 스티칭(trajectory stitching)은 이러한 행동들을 조합하여 개선된 학습(training) 데이터로 만드는 방법을 제공하지만, 많은 기존 기법이 저차원 상태 표현에 의존하는 고차원 로봇 데이터에서는 유용한 연결점을 식별하고 실행 가능성을 검증하기 어렵습니다. 본 논문에서는 고차원 로봇 시연 데이터에서 기록된 관측값 사이에 검증된 짧은 행동 브리지(action bridge)를 추가함으로써 이러한 문제를 해결하는 오프라인 데이터셋(dataset) 증강 알고리즘인 NEEDLE을 소개합니다. 먼저 NEEDLE은 새로운 환경(environment) 상호작용이나 특권적인 객체 상태(privileged object state) 없이 RGB 이미지, 고유수용감각(proprioception), 에피소드 단위 결과만을 사용하여 준최적의 우회 경로를 우회하고, 행동 커버리지를 넓히며, 실패한 궤적으로 원본 데이터셋을 증강하는 연결점을 식별하고 생성합니다. 다음으로, 중간 이미지를 합성하거나 원본 시연을 버리지 않고도 승인된 브리지를 정책 학습에 통합하는 샘플링 기법을 제시하여, 정책이 원본 데이터셋의 커버리지를 유지하면서 대안적인 행동을 학습할 수 있도록 합니다. 실제 로봇 작업에서 NEEDLE은 각 작업의 가장 강력한 기준선(baseline) 대비 성공률을 평균 21% 포인트 향상시켰습니다. 비디오 및 보충 자료는 https://needle-work.github.io/ 에서 확인할 수 있습니다.

arXiv:2609.27734v1cs.RO공통 태그 Data Augmentation, Imitation Learning

InfiNoVA: 시점 불변 로봇 정책을 위한 무한 신규 시점 증강

InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies

비전-언어-행동(VLA) 정책은 학습 중 관측한 카메라 시점에 크게 의존하는 경우가 많아, 보지 못한 시점에서 배포할 때 성능이 크게 저하된다. 충분히 다양한 물리적 시점에서 시연을 수집하는 것은 비용이 많이 들며, 시점 공간에 대한 커버리지도 여전히 희소하게만 제공한다. 본 논문은 동기화된 다중 카메라 시연을 기하학적으로 일관된 학습용 시점의 밀집 분포로 변환하는 데이터 증강 프레임워크인 InfiNoVA를 제안한다. InfiNoVA는 각 조작 궤적을 시간에 따라 변하는 3D Gaussian 표현으로 재구성하고, 원래 상태-행동 대응을 유지한 채 샘플링된 카메라 자세에서 신규 관측을 렌더링한다. 이러한 명시적 장면 표현은 생성적 신규 시점 합성에서 관찰되는 과업 핵심적 환각(hallucination)을 줄이면서 프레임 수준 충실도와 시간적 일관성을 향상시킨다. 네 가지 실세계 조작 과제에서 InfiNoVA로 학습한 정책은 VISTA 기반 증강과 증강하지 않은 정책 모두에 비해 보지 못한 무작위 시점에서 평균 성공률이 5.4배 높다. InfiNoVA는 다섯 개의 물리적 카메라 시점 모두에서 직접 학습한 경우보다도 1.7배 높은 성공률을 추가로 달성한다. 이러한 결과는 밀집하고 기하학적으로 그라운딩(grounded)된 시점 증강이 기본 정책 아키텍처를 수정하지 않고도 카메라에 강건한 로봇 정책을 향한 실용적인 경로를 제공함을 보여준다.

arXiv:2609.23565v1cs.CV공통 태그 Data Augmentation, Imitation Learning

MaskVLA: Vision-Language-Action 모델의 궤적 과적합에 대응하는 시각적 마스킹

MaskVLA: Visual Masking Against Trajectory Overfitting of Vision-Language-Action Model

Vision-Language-Action(VLA) 모델은 시각-언어 이해와 실행 가능한 로봇 행동을 통합하여 로봇 제어를 위한 종단간(end-to-end) 학습을 가능하게 한다. 그러나 우리의 실증 분석에 따르면, 기존 모델들은 제한된 데이터셋으로 파인튜닝(fine-tuning)될 때 심각한 궤적 과적합(trajectory overfitting)을 보인다. 모델이 손목 카메라 정보를 효과적으로 활용하도록 유도하기 위해, 우리는 마스킹 기반 파인튜닝 전략인 MaskVLA를 제안한다. 메인 카메라의 시각 정보 중 일부를 무작위로 마스킹함으로써, 모델은 보다 세밀하고 과제와 관련성이 높으며 효과적인 시각적 특징을 자율적으로 학습하도록 유도된다. 이 과정은 강건한 정책(policy)의 출현으로 이어지며, 이를 통해 복잡한 조작(manipulation) 과제를 처리하는 모델의 능력을 향상시키고 일반화 성능을 개선한다. 우리의 방법은 RoboTwin 2.0에서 종합적으로 평가되었으며, $\pi_0$ 및 OpenVLA-OFT 대비 각각 평균 23.2%, 16.8%의 성공률 향상을 달성했다. 또한 실제 ALOHA 로봇을 이용한 실험에서도 우리 접근법의 효과가 입증되었다.

arXiv:2607.19880v2cs.RO공통 태그 Data Augmentation, Imitation Learning

EA-Nav: 체화 인식 기반 안전한 시각 내비게이션 정책 학습

EA-Nav: Learning Safe Visual Navigation Policies with Embodiment Awareness

교차 체화(cross-embodiment) 내비게이션은 체화 지능(embodied intelligence)의 핵심 과제이다. 체화의 차이로 인해 동일한 시각 관측이 서로 다른 에이전트(agent)에게는 서로 다른 행동을 의미할 수 있으며, 시각에만 의존할 경우 예측이 모호해진다. 기존 연구는 주로 강화학습에 의존하며, 이는 대규모 상호작용과 세심한 보상 설계를 요구하여 확장 가능한 사전학습(pre-training)과 실세계 적응을 지원하기 어렵게 만든다. 반면 모방 학습(imitation learning) 기반 접근법은 여전히 제한적이다. 이러한 과제를 해결하기 위해, 우리는 모듈형 다단계 설계를 갖춘 모방 학습 기반의 체화 인식 내비게이션 프레임워크를 제안한다. 사전학습 단계에서, 우리는 인터넷 동영상으로부터 교차 체화 내비게이션 데이터셋을 구성하고, 동일한 관측 하에서 행동 모호성을 줄이기 위해 체화 기하학(embodiment geometry)을 조건부 토큰(token)으로 도입한다. 미세조정 단계에서, 우리는 분리형(decoupled) 아키텍처 기반의 멀티모달 정보 주입 메커니즘을 설계한다. 구체적으로, 고위험 샘플을 생성하는 궤적 증강(trajectory augmentation) 전략을 설계하고, 이를 공간 지각(spatial perception)과 위험 인식(risk-aware) 보정(correction) 학습에 각각 사용하여, 안전한 내비게이션을 위해 체화 기하학을 명시적으로 통합한다. 실험 결과, 제안 방법은 서로 다른 체화 설정에서 내비게이션 성능을 효과적으로 향상시키며, 체화 내비게이션에 체화 기하학을 통합하는 것의 효과를 보여준다.

arXiv:2607.14200v1cs.LG공통 태그 Data Augmentation, Imitation Learning

스트리밍 비디오 게임에서 강건하고 효율적인 모방 학습을 위한 증강

Augmentations for Robust and Efficient Imitation Learning in Streamed Video Games

모방 학습은 인간 시연으로부터 시각적 관측을 행동에 매핑하는 정책을 학습함으로써, 복잡한 3D 환경에서 게임 플레이 에이전트를 확장할 수 있는 매력적인 방법이다. 그러나 이러한 시연은 수집 비용이 높고, 현대 게임 플레이는 종종 스트리밍을 통해 이루어지는데, 네트워크 지연과 압축이 시공간적으로 상관된 시각적 아티팩트를 유발하여 테스트 시점에 공분산 이동(covariance shift)을 일으킬 수 있다. 이러한 과제를 해결하기 위해, 저대역폭 네트워크 연결 하의 스트리밍 중 흔히 발생하는 네 가지 유형의 아티팩트—픽셀화된 블록 및 스크럽, 전역 블러, 고스팅—을 모방하는 스트리밍 증강을 제안한다. 우리는 학습된 잠재 공간에서 미래 상태 조건화와 역동역학 정책을 결합하는 예측적 역동역학 모델(PIDM) 위에 접근법을 구현하고, 현대 3D 비디오 게임의 세 가지 과제에서 증강의 영향을 평가한다. 안정적인 스트리밍 조건에서, 시공간 증강으로 학습된 에이전트는 동일한 데이터 예산 하에서 증강 없이 학습된 에이전트 대비 평가 성능이 최대 41% 더 높다. 네트워크 지연이 도입되면, 증강으로 학습된 에이전트는 성능이 7.45%만 저하되는 반면, 원본 데이터만으로 학습된 에이전트는 원래 성능의 49.82%에 그친다. 이러한 결과는 스트리밍 환경에 맞춘 시공간 증강이 강건하고 효율적인 게임 플레이 에이전트를 학습하기 위한 단순하면서도 강력한 도구임을 분명히 보여준다.

arXiv:2607.14548v1cs.CV공통 태그 Data Augmentation, Imitation Learning

HyMobileAgent: 효율적인 GUI 에이전트를 위한 데이터-환경 공동 스케일링

HyMobileAgent: Data-Environment Co-Scaling for Efficient GUI Agents

대형 멀티모달 모델이 콘텐츠 이해에서 디지털 환경 조작으로 확장됨에 따라, 모바일 GUI는 디지털 체화 지능(digital embodied intelligence)을 위한 도전적이고 중요한 테스트베드로 부상했다. 모바일 에이전트는 세 가지 상호 결합된 제약 하에서 동작한다: 복잡한 인터페이스에 대한 정밀한 인식, 고품질 상호작용 데이터의 확장 가능한 수집, 그리고 누적되는 실행 오류 하에서의 견고한 장기 의사결정. 이 보고서는 Hy3.0-VL-A3B 기반의 모바일 GUI 에이전트인 HyMobileAgent를 제시한다. Hy3.0-VL-A3B는 네이티브 임의 해상도(any-resolution) 입력, A3B 규모 배포 예산, 확장된 상호작용 이력을 모델링하기 위한 32K 컨텍스트 윈도우(context window)를 갖춘 비전 네이티브 기반 모델이다. 모델 스케일링(scaling)에만 의존하기보다, 모바일 상호작용의 핵심 병목을 해결하기 위해 데이터와 환경 중심의 공동 스케일링 프레임워크를 개발했다. 우리 프레임워크는 모의 인터페이스(mock-interface) 합성, 거부 샘플링, 아이콘 특화 증강을 결합한 GUI 인식 플라이휠; 튜토리얼 동영상을 구조화된 상호작용 데이터로 변환하는 지식 파이프라인; 2000개 이상의 샌드박스(sandbox) 및 실제 기기(real-device) 인스턴스에 배포되고 자동화된 실패 귀인(failure attribution)을 갖춘 백만 규모 액션 데이터 파이프라인; 34개의 모의 애플리케이션과 34000개 이상의 태스크를 제공하는 초기화 가능한(resettable) 학습 환경인 PhoneWorld Mock App Factory; 신뢰할 수 있는 장기 실행을 위한 명시적 데드루프(dead-loop) 탐지를 갖춘 구조화된 Planning-and-Reflection 메커니즘을 통합한다. 또한 중간 학습(mid-training), 지도 미세조정, 태스크 특화 보상 설계를 갖춘 강화학습으로 구성된 점진적 학습 레시피를 소개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.