SwingBot: Learning Physical Features from In-hand Tactile Exploration for Dynamic Swing-up Manipulation
원문 초록
Several robot manipulation tasks are extremely sensitive to variations of the physical properties of the manipulated objects. One such task is manipulating objects by using gravity or arm accelerations, increasing the importance of mass, center of mass, and friction information. We present SwingBot, a robot that is able to learn the physical features of a held object through tactile exploration. Two exploration actions (tilting and shaking) provide the tactile information used to create a physical feature embedding space. With this embedding, SwingBot is able to predict the swing angle achieved by a robot performing dynamic swing-up manipulations on a previously unseen object. Using these predictions, it is able to search for the optimal control parameters for a desired swing-up angle. We show that with the learned physical features our end-to-end self-supervised learning pipeline is able to substantially improve the accuracy of swinging up unseen objects. We also show that objects with similar dynamics are closer to each other on the embedding space and that the embedding can be disentangled into values of specific physical properties.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
비마르코프 환경에서의 행동 복제(BC)는 정책이 장기 지평에 걸친 문맥 정보를 추론해야 하므로 어려운 문제이다. 기존 정책 아키텍처는 장기 의존성을 포착하기 위해 순환 또는 어텐션 기반 메커니즘에 의존한다. 그러나 순환 모델은 시간에 대한 역전파에서 은닉 상태 붕괴와 기울기 불안정성을 겪으며, 어텐션 기반 모델은 근본적으로 문맥 길이에 의해 제한된다. 이러한 문제를 해결하기 위해 본 논문은 무작위로 추출한 과거 관측으로부터 목적 함수를 학습하고 이를 키프레임 선택의 보상으로 사용하여 정보상 핵심적인 관측 집합($\textit{mnemonics}$)을 $\textit{발견}$하는 새로운 자기지도 방법인 Keyframe Mnemonics를 제안한다. 이후 발견된 키프레임을 조건으로 하는 BC 정책을 학습하여 행동 분포를 모델링한다. 단순성 편향 가정 하에서, 본 정식화는 정책의 작업 기억에 의사결정과 관련된 소수의 키프레임만을 유지하면서도 무한 지평에 걸친 문맥 유지 보장을 제공한다. 합성 기억 도메인에서 평가한 결과, mnemonic 조건부 BC 정책은 $100$%의 성공률(SR)을 달성하고 성능 저하 없이 학습 지평을 수 자릿수 넘어서는 지평으로 일반화한다. 또한 기억 집약적인 로봇 조작 벤치마크에서 $23$개 과제에 걸쳐 가장 강력한 기준선 대비 평균 절대 SR이 $13.9$% 향상되었다. 마지막으로 실제 로봇에서 $20\times$ 더 긴 시간 지평에서도 $80$%의 SR로 일반화됨을 보인다. 코드와 영상은 https://keyframe-mnemonics.github.io 에서 확인할 수 있다.
LAPT-Scale: 인간 비디오 기반 잠재 행동 사전학습을 통한 체화된 정책의 스케일링
LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos
범용 로봇 정책의 스케일링(scaling)은 체화된(embodied) 상호작용 데이터 수집의 높은 비용으로 인해 한계를 겪고 있습니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 풍부한 대안을 제공하지만 로봇 행동 레이블이 결여되어 있으며, 기존의 행동 어노테이션 방법은 실제 환경의 시각적 복잡성과 다양한 조작 동역학 환경에서 노이즈가 발생하는 경우가 많습니다. 본 논문에서는 두 가지 구성 요소로 이루어진 확장 가능한 잠재 행동 사전학습 패러다임인 LAPT-Scale을 소개합니다. LAPT-Scale-LAM은 인간 비디오의 프레임 간 시각적 전이(visual transition)를 설명하여 연속적인 잠재 행동을 학습하고 이를 인간 유래 지도 신호로 활용하며, LAPT-Scale-Policy는 인간 비디오 잠재 행동 사전학습, 타깃 로봇 체화 정렬(embodiment alignment), 그리고 태스크 특화 사후 학습을 거쳐 VLA(Vision-Language-Action) 정책을 학습합니다. 이전의 벡터 양자화 LAM과 달리, LAPT-Scale-LAM은 세밀한 모션 및 상호작용 동역학을 보존하기 위해 연속 잠재 공간(continuous latent space)을 사용합니다. 나아가 픽셀 재구성을 넘어 전이 수준의 지도 신호를 향상하기 위해 지각적, 의미적, 광학 흐름(optical-flow) 정렬 신호를 결합합니다. 23,300시간의 1인칭 비디오로 학습된 LAPT-Scale-LAM은 정책 사전학습을 위한 암시적 행동 지도 신호를 제공하여 일관된 스케일링 이득을 달성하며, 어노테이션된 인간 비디오가 1,000시간에서 5,000시간으로 증가함에 따라 실제 로봇 성공률을 63.3%에서 85.0%로 향상시킵니다. 학습된 정책은 또한 이전에 본 적 없는 시각적 조건으로도 일반화됩니다.
적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습
Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis
본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io
Tactile-JEPA: 분산 촉각 센서를 위한 위상 인식 자기지도 표현 학습
Tactile-JEPA: Topology-Aware Self-Supervised Representation Learning for Distributed Tactile Sensors
촉각 감지는 접촉이 많고 능숙한 조작, 특히 시각적 가림 상황에서 로봇이 수행하는 데 필수적인 양식이다. 로봇 학습 파이프라인에서는 사전학습된 이미지 인코더가 표준이지만, 촉각 인코더는 여전히 원시의 노이즈가 많은 신호로부터 처음부터 학습되는 경우가 많아 표현력이 제한될 수 있다. 기존 자기지도 학습(SSL) 접근법은 주로 비전 기반 촉각 센서에 초점을 맞추어 분산 전자 피부는 대체로 다루지 않았다. 그러나 이러한 센서는 감지 요소가 덮는 표면 위에 sparse하고 불규칙하게 배치된다는 독특한 특성을 가지며, 이로 인해 시각 SSL 방법을 그대로 재사용하기는 최적이 아니다. 본 논문은 촉각 센서의 공간 배치를 이용해 위상 인식 표현을 학습하는 효율적인 자기지도 사전학습 방법 Tactile-JEPA를 제안한다. 구체적으로, 공간 마스킹을 안내하기 위해 센서 연결 그래프를 사용하여 마스킹되지 않은 나머지로부터 마스킹된 감지 요소의 임베딩을 예측하도록 학습한다. 분석 결과, 효과적인 촉각 표현은 국소 접촉 세부와 촉각 표면의 전역 상태를 모두 포착해야 하며, 이를 이중 스케일 마스킹으로 달성한다. 자기 및 압저항 센서, 서로 다른 로봇 형태, 단일 및 쌍 센서 구성을 아우르는 세 가지 다양한 데이터셋에서 Tactile-JEPA는 기존 최신 방법 대비 힘 추정 오류를 6.3%, 손안 방향 오류를 20.8% 줄였으며, 정책 학습을 포함한 다른 하류 응용에서도 일관된 향상을 보였다. 종합하면, 촉각 감지의 이점은 인코더 사전학습의 품질에 크게 좌우되며, Tactile-JEPA가 이 문제를 직접 해결함을 보여준다. 코드는 https://github.com/E-Kovtun/tactile 에서 제공된다.
UR-VC: 시간 유도 진행도 프록시를 위한 비지도 로봇 가치 보정
UR-VC: Unsupervised Robotic Value Correction for Time-Derived Progress Proxies
현대 로봇 학습 시스템은 중간 상태 평가, 정책 학습 안내, 과제 완료 감지에 점진적 진행도 또는 가치 신호에 점점 더 의존하므로, 이러한 신호의 품질이 핵심이 되었다. 이러한 조밀한(dense) 라벨은 대규모로 거의 제공되지 않기 때문에, 시연 내 정규화된 시간이 확장 가능한 대안으로 자주 사용되며, 이후 프레임일수록 더 높은 진행도로 취급된다. 그러나 이 시간 유도 라벨은 물리적 과제 진행도에 대한 잡음이 많은 프록시에 불과하다. 접촉이 많은 조작에서는 로봇이 진행한 뒤 미끄러짐, 파지 실패, 부분적 되돌림 등으로 진행을 잃을 수 있는데, 시간 유도 라벨은 계속 단조 증가한다. 우리는 시간 유도 진행도 라벨을 보정하는 오프라인·학습 불필요(training-free) 방법인 비지도 로봇 가치 보정(Unsupervised Robotic Value Correction, UR-VC)을 제안한다. UR-VC는 시연 데이터의 단순한 규칙성을 활용한다: 유사한 상태가 서로 다른 에피소드에서 서로 다른 타임스탬프로 자주 재등장한다. 단일 궤적의 타임스탬프를 신뢰하는 대신, UR-VC는 다른 에피소드에서 유사 상태를 검색하고 그들의 시간 유도 라벨을 집계하여 보정된 진행도 추정치를 얻는다. UR-VC는 수동 진행도 라벨, 보상 주석, 또는 추가 가치 모델이 필요하지 않다. 우리는 UR-VC를 실제 양손 천 평탄화 및 접기 데이터, 중간 진행도가 명확히 드러나는 장기 변형 가능 객체 조작 과제에서 평가했다. 보정된 라벨은 정규화된 시간이 표현할 수 없는 국소적 퇴행과 비균일 진행도를 포착하면서 전체 과제 추세는 유지한다. 또한 최근 이점 조건 정책 학습(advantage-conditioned policy learning)에 따라 보정된 신호로 VLA 학습용 이점 라벨을 구성했다. UR-VC는 동일한 데이터, 모델, 학습 설정 하에서 실제 로봇 과제 성공률에서 긍정적 추세를 보였다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.