Demonstrate Once, Imitate Immediately (DOME): Learning Visual Servoing for One-Shot Imitation Learning
원문 초록
We present DOME, a novel method for one-shot imitation learning, where a task can be learned from just a single demonstration and then be deployed immediately, without any further data collection or training. DOME does not require prior task or object knowledge, and can perform the task in novel object configurations and with distractors. At its core, DOME uses an image-conditioned object segmentation network followed by a learned visual servoing network, to move the robot's end-effector to the same relative pose to the object as during the demonstration, after which the task can be completed by replaying the demonstration's end-effector velocities. We show that DOME achieves near 100% success rate on 7 real-world everyday tasks, and we perform several studies to thoroughly understand each individual component of DOME. Videos and supplementary material are available at: https://www.robot-learning.uk/dome .
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
근전도 및 시각적 작업 기술자 증강을 통한 VLA의 연속적 조건화
Continuous Conditioning of VLAs with Augmenting EMG and Visual Task Descriptors
비전-언어-행동(VLA, Vision-Language-Action) 모델은 멀티모달 입력을 지원함에도 불구하고 작업 정보를 설명할 때 언어에 크게 의존합니다. 본 논문에서는 상태 공간의 다른 모달리티가 보조적인 작업 조건화(task conditioning) 기회를 제공할 수 있으며, 이는 복잡하거나 모호한 장면에서 특히 유용할 수 있다는 가설을 세웁니다. 이 가설을 검증하기 위해 두 가지 튜닝된 모델을 소개합니다. (1) 8채널 근전도검사(EMG) 포락선을 고유수용성 벡터에 연결된 연속적 조건화 입력으로 통합한 전기생리학 조건화 VLA(EC-VLA)와 (2) 이미지 입력에 시각적 분할(segmentation) 주석을 결합한 시각 주석 VLA(VA-VLA)입니다. 3명의 참가자를 대상으로 평가한 큐브 선택 작업에서, EC-VLA는 어수선하지 않은 분포 내(in-distribution) 조건에서는 언어 프롬프트 기반의 기준선(baseline)과 동등한 성능을 보였으며, 복잡한 분포 외(out-of-distribution) 장면에서는 기준선을 크게 능가했습니다. 마찬가지로 VA-VLA는 분포 내 장면에서 언어 프롬프트 기준선 대비 소폭의 개선을 보였고, 복잡한 분포 외 실험에서는 상당한 성능 향상을 나타냈습니다. 이러한 결과는 언어를 넘어선 작업 조건화의 잠재적 이점에 대한 강력한 증거를 제공합니다.
DecoupleNet: A Lightweight Backbone Network With Efficient Feature Decoupling for Remote Sensing Visual Tasks
Clustering-Guided Class Activation for Weakly Supervised Semantic Segmentation
FactSeg: Foreground Activation Driven Small Object Semantic Segmentation in Large-Scale Remote Sensing Imagery
LayerCAM: Exploring Hierarchical Class Activation Maps for Localization
MATNet: Motion-Attentive Transition Network for Zero-Shot Video Object Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.