Self-Supervised Learning of State Estimation for Manipulating Deformable Linear Objects
원문 초록
We demonstrate model-based, visual robot manipulation of linear deformable objects. Our approach is based on a state-space representation of the physical system that the robot aims to control. This choice has multiple advantages, including the ease of incorporating physics priors in the dynamics model and perception model, and the ease of planning manipulation actions. In addition, physical states can naturally represent object instances of different appearances. Therefore, dynamics in the state space can be learned in one setting and directly used in other visually different settings. This is in contrast to dynamics learned in pixel space or latent space, where generalization to visual differences are not guaranteed. Challenges in taking the state-space approach are the estimation of the high-dimensional state of a deformable object from raw images, where annotations are very expensive on real data, and finding a dynamics model that is both accurate, generalizable, and efficient to compute. We are the first to demonstrate self-supervised training of rope state estimation on real images, without requiring expensive annotations. This is achieved by our novel self-supervising learning objective, which is generalizable across a wide range of visual appearances. With estimated rope states, we train a fast and differentiable neural network dynamics model that encodes the physics of mass-spring systems. Our method has a higher accuracy in predicting future states compared to models that do not involve explicit state estimation and do not use any physics prior, while only using 3\% of training data. We also show that our approach achieves more efficient manipulation, both in simulation and on a real robot, when used within a model predictive controller.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
LAPT-Scale: 인간 비디오 기반 잠재 행동 사전학습을 통한 체화된 정책의 스케일링
LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos
범용 로봇 정책의 스케일링(scaling)은 체화된(embodied) 상호작용 데이터 수집의 높은 비용으로 인해 한계를 겪고 있습니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 풍부한 대안을 제공하지만 로봇 행동 레이블이 결여되어 있으며, 기존의 행동 어노테이션 방법은 실제 환경의 시각적 복잡성과 다양한 조작 동역학 환경에서 노이즈가 발생하는 경우가 많습니다. 본 논문에서는 두 가지 구성 요소로 이루어진 확장 가능한 잠재 행동 사전학습 패러다임인 LAPT-Scale을 소개합니다. LAPT-Scale-LAM은 인간 비디오의 프레임 간 시각적 전이(visual transition)를 설명하여 연속적인 잠재 행동을 학습하고 이를 인간 유래 지도 신호로 활용하며, LAPT-Scale-Policy는 인간 비디오 잠재 행동 사전학습, 타깃 로봇 체화 정렬(embodiment alignment), 그리고 태스크 특화 사후 학습을 거쳐 VLA(Vision-Language-Action) 정책을 학습합니다. 이전의 벡터 양자화 LAM과 달리, LAPT-Scale-LAM은 세밀한 모션 및 상호작용 동역학을 보존하기 위해 연속 잠재 공간(continuous latent space)을 사용합니다. 나아가 픽셀 재구성을 넘어 전이 수준의 지도 신호를 향상하기 위해 지각적, 의미적, 광학 흐름(optical-flow) 정렬 신호를 결합합니다. 23,300시간의 1인칭 비디오로 학습된 LAPT-Scale-LAM은 정책 사전학습을 위한 암시적 행동 지도 신호를 제공하여 일관된 스케일링 이득을 달성하며, 어노테이션된 인간 비디오가 1,000시간에서 5,000시간으로 증가함에 따라 실제 로봇 성공률을 63.3%에서 85.0%로 향상시킵니다. 학습된 정책은 또한 이전에 본 적 없는 시각적 조건으로도 일반화됩니다.
적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습
Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis
본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io
Tactile-JEPA: 분산 촉각 센서를 위한 위상 인식 자기지도 표현 학습
Tactile-JEPA: Topology-Aware Self-Supervised Representation Learning for Distributed Tactile Sensors
촉각 감지는 접촉이 많고 능숙한 조작, 특히 시각적 가림 상황에서 로봇이 수행하는 데 필수적인 양식이다. 로봇 학습 파이프라인에서는 사전학습된 이미지 인코더가 표준이지만, 촉각 인코더는 여전히 원시의 노이즈가 많은 신호로부터 처음부터 학습되는 경우가 많아 표현력이 제한될 수 있다. 기존 자기지도 학습(SSL) 접근법은 주로 비전 기반 촉각 센서에 초점을 맞추어 분산 전자 피부는 대체로 다루지 않았다. 그러나 이러한 센서는 감지 요소가 덮는 표면 위에 sparse하고 불규칙하게 배치된다는 독특한 특성을 가지며, 이로 인해 시각 SSL 방법을 그대로 재사용하기는 최적이 아니다. 본 논문은 촉각 센서의 공간 배치를 이용해 위상 인식 표현을 학습하는 효율적인 자기지도 사전학습 방법 Tactile-JEPA를 제안한다. 구체적으로, 공간 마스킹을 안내하기 위해 센서 연결 그래프를 사용하여 마스킹되지 않은 나머지로부터 마스킹된 감지 요소의 임베딩을 예측하도록 학습한다. 분석 결과, 효과적인 촉각 표현은 국소 접촉 세부와 촉각 표면의 전역 상태를 모두 포착해야 하며, 이를 이중 스케일 마스킹으로 달성한다. 자기 및 압저항 센서, 서로 다른 로봇 형태, 단일 및 쌍 센서 구성을 아우르는 세 가지 다양한 데이터셋에서 Tactile-JEPA는 기존 최신 방법 대비 힘 추정 오류를 6.3%, 손안 방향 오류를 20.8% 줄였으며, 정책 학습을 포함한 다른 하류 응용에서도 일관된 향상을 보였다. 종합하면, 촉각 감지의 이점은 인코더 사전학습의 품질에 크게 좌우되며, Tactile-JEPA가 이 문제를 직접 해결함을 보여준다. 코드는 https://github.com/E-Kovtun/tactile 에서 제공된다.
UR-VC: 시간 유도 진행도 프록시를 위한 비지도 로봇 가치 보정
UR-VC: Unsupervised Robotic Value Correction for Time-Derived Progress Proxies
현대 로봇 학습 시스템은 중간 상태 평가, 정책 학습 안내, 과제 완료 감지에 점진적 진행도 또는 가치 신호에 점점 더 의존하므로, 이러한 신호의 품질이 핵심이 되었다. 이러한 조밀한(dense) 라벨은 대규모로 거의 제공되지 않기 때문에, 시연 내 정규화된 시간이 확장 가능한 대안으로 자주 사용되며, 이후 프레임일수록 더 높은 진행도로 취급된다. 그러나 이 시간 유도 라벨은 물리적 과제 진행도에 대한 잡음이 많은 프록시에 불과하다. 접촉이 많은 조작에서는 로봇이 진행한 뒤 미끄러짐, 파지 실패, 부분적 되돌림 등으로 진행을 잃을 수 있는데, 시간 유도 라벨은 계속 단조 증가한다. 우리는 시간 유도 진행도 라벨을 보정하는 오프라인·학습 불필요(training-free) 방법인 비지도 로봇 가치 보정(Unsupervised Robotic Value Correction, UR-VC)을 제안한다. UR-VC는 시연 데이터의 단순한 규칙성을 활용한다: 유사한 상태가 서로 다른 에피소드에서 서로 다른 타임스탬프로 자주 재등장한다. 단일 궤적의 타임스탬프를 신뢰하는 대신, UR-VC는 다른 에피소드에서 유사 상태를 검색하고 그들의 시간 유도 라벨을 집계하여 보정된 진행도 추정치를 얻는다. UR-VC는 수동 진행도 라벨, 보상 주석, 또는 추가 가치 모델이 필요하지 않다. 우리는 UR-VC를 실제 양손 천 평탄화 및 접기 데이터, 중간 진행도가 명확히 드러나는 장기 변형 가능 객체 조작 과제에서 평가했다. 보정된 라벨은 정규화된 시간이 표현할 수 없는 국소적 퇴행과 비균일 진행도를 포착하면서 전체 과제 추세는 유지한다. 또한 최근 이점 조건 정책 학습(advantage-conditioned policy learning)에 따라 보정된 신호로 VLA 학습용 이점 라벨을 구성했다. UR-VC는 동일한 데이터, 모델, 학습 설정 하에서 실제 로봇 과제 성공률에서 긍정적 추세를 보였다.
Multidimensional Particle Filter for Long-Term Visual Teach and Repeat in Changing Environments
토론
이 논문과 연결된 포럼 글이 아직 없습니다.