arXiv:2611.20137v1 cs.RO

Cleanly-DINO: 로봇을 위한 효율적인 시각적 과제 공간 학습

Cleanly-DINO: Efficiently Learning Visual Task Spaces for Robotics

Adrian R\"ofer, Melika Shekarriz, Jos\'e Arce y de la Borbolla, Iman Nematollahi, Abhinav Valada

제출 2026-11-17

한국어 초록

적은 수의 시연으로 조작 과제를 학습하려면 강체 조작에서의 물체 자세처럼 과제 완료에 관련된 변화를 포착하는 추상 표현이 필요하다. 그러나 청소 같은 과제는 물체의 자세보다 시각적 상태의 변화로 정의되므로 어떤 표현을 사용할지 결정하기 어렵다. 본 연구는 소수의 시연에서 시각적 과제 공간을 학습하는 Cleanly-DINO를 제안한다. 과제 관련 영역의 마스크와 고정된 ViT 특징이 주어지면, Cleanly-DINO는 과제 공간을 분리하는 투영을 맞추고 그 공간에서 진행 정도를 측정하는 평가지표를 학습한다. 다양한 청소 사례에서 모델을 학습시킨 뒤 작업이 끝나지 않은 영역의 위치를 찾고, 다른 시각 도메인으로 전이하는 능력을 평가한다. 강화학습 환경에서 이 모델을 관측 인코더와 보상 신호로 사용해 로봇 학습에 대한 유용성도 살펴본다. 마지막으로 학습을 마친 모델을 실제 로봇 닦기 작업의 파이프라인에 적용해 과제 수행을 안내하는 데 얼마나 유용한지 평가한다.

원문 초록

Learning manipulation tasks from few demonstrations requires abstractions that capture the changes relevant to task completion, such as object poses in rigid-body manipulation. However, tasks such as cleaning are defined by changes in visual state rather than object pose, making the choice of task representation less clear. In this work, we propose Cleanly-DINO to learn visual task spaces from few demonstrations. Given a mask of a task-relevant region and frozen ViT features, Cleanly-DINO fits a projection to isolate a task space and fit a progression metric to it. We train the model on diverse cleaning examples and evaluate its ability to localize incomplete task regions and transfer across visual domains. We also study its utility for robot learning by using it as an observation encoder and reward signal in a reinforcement learning setting. Finally, we deploy our fitted model within a real-world robotic wiping pipeline to evaluate its use in guiding task execution.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20137v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.