arXiv:2606.11767v1 cs.RO

Real2Sim2Real 촉각 정책 학습을 통한 시각 없는 정교한 파악

Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning

Shengcheng Luo, Xiyan Huang, Zhe Xu, Wanlin Li, Ziyuan Jiao, Chenxi Xiao

제출 2026-06-10

한국어 초록

정교한 손(dexterous hand)을 이용한 시각 없는 파악(blind grasping)은 중요한 조작 능력입니다. 그럼에도 불구하고 촉각 시뮬레이션-현실 격차(tactile sim-to-real gap)와 희소 촉각 신호의 제한된 표현력으로 인해, 실제 로봇을 위한 이러한 촉각 전용(tactile-only) 정책을 학습하는 것은 여전히 어렵습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 실제 다지 로봇 손(multi-fingered robotic hand)에 배포 가능한 촉각 전용 시각 없는 파악 프레임워크를 제안합니다. 제안하는 방법은 세 가지 핵심 구성 요소를 결합합니다. 첫째, 실제 촉각 신호를 재현할 수 있는 접촉 보정된 디지털 트윈 시뮬레이터(digital-twin simulator)를 구축하는 Real2Sim 촉각 보정 파이프라인을 도입합니다. 둘째, 자기 지도 사전 학습(self-supervised pretraining)을 통해 센서 기하학적 사전 지식(sensor-geometry priors)을 통합하는 레이아웃 인식 촉각 인코더(layout-aware tactile encoder)를 사용하여 희소 촉각 관찰의 표현력을 향상시킵니다. 셋째, 보이지 않는 물체(unseen objects)에 대한 일반화 성능을 높이기 위해 보정된 시뮬레이터에서 객체별 강화학습(RL) 전문가를 학습시키고, 성공적인 파악 궤적을 촉각 조건부 디퓨전 정책(tactile-conditioned Diffusion Policy)으로 집계합니다. 분산 촉각 감지가 장착된 실제 LEAP Hand를 사용하여 10개의 학습된 물체와 10개의 보이지 않는 물체에 대해 방법을 평가했습니다. 실제 환경에서의 파악 시연이나 시각 입력 없이 배포된 정책은 전체 20개 물체에 대해 27%의 파악 성공률을 달성했습니다. 시뮬레이션 제거 연구(ablations)는 레이아웃 인식 촉각 사전 학습이 파악 성능을 향상시킴을 보여주며, 센서 수준의 평가는 Real2Sim 보정이 시뮬레이션과 하드웨어 간의 촉각 접촉 이벤트(tactile contact events) 일관성을 높임을 확인했습니다. 종합적으로, 이러한 결과는 접촉 이벤트 보정, 기하학 인식 촉각 표현 학습, 그리고 디퓨전 기반 정책 집계가 실제 정교한 로봇 손에서의 촉각 전용 시각 없는 파악을 위한 효과적인 경로를 제공함을 시사합니다. 프로젝트 페이지: Dex-Blind-Grasp.github.io.

원문 초록

Blind grasping with a dexterous hand is a crucial manipulation capability. Nevertheless, learning such tactile-only policies for real robots remains challenging due to the tactile sim-to-real gap and the limited expressiveness of sparse tactile signals. To bridge this gap, we propose a framework for tactile-only blind grasping that is deployable on a physical multi-fingered robotic hand. Our approach combines three key components. First, we introduce a Real2Sim tactile calibration pipeline that constructs a contact-calibrated digital-twin simulator capable of reproducing real tactile signals. Second, we improve the expressiveness of sparse tactile observations using a layout-aware tactile encoder, which incorporates sensor-geometry priors through self-supervised pretraining. Third, to improve generalization to unseen objects, we train object-specific reinforcement-learning experts in the calibrated simulator and aggregate their successful grasp trajectories into a tactile-conditioned Diffusion Policy. We evaluate our method on a physical LEAP Hand equipped with distributed tactile sensing across 10 seen and 10 unseen objects. The deployed policy achieves a 27\% real-world grasp success rate across all 20 objects, without real-world grasping demonstrations or visual input. Simulation ablations show that layout-aware tactile pretraining improves grasping performance, while sensing-level evaluations confirm that Real2Sim calibration increases the consistency of tactile contact events between simulation and hardware. Together, these results suggest that contact-event calibration, geometry-aware tactile representation learning, and diffusion-based policy aggregation provide an effective path toward tactile-only blind grasping on real dexterous robotic hands. Project page:Dex-Blind-Grasp.github.io.

요약

시각 정보 없는 정교한 파악을 위해 실제 촉각 신호를 재현하는 Real2Sim 보정 파이프라인과 레이아웃 인식 촉각 인코더를 결합한 프레임워크를 제안한다. 이 방법은 보정된 시뮬레이터에서 학습된 강화학습 전문가들을 촉각 조건부 디퓨전 정책으로 통합하여 실제 환경에서 27%의 파악 성공률을 달성했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11767v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.18462v5cs.CV공통 태그 Self-Supervised Learning, robotics

CSWAM: 월드 액션 모델에서의 분포 외 일반화를 위한 더 나은 인과적 의미 표현

CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models

FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다. 이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다. 우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.

arXiv:2610.03333v1cs.RO공통 태그 tactile sensing, diffusion policy

접촉이 빈번한 조작을 위한 동변 시각-촉각 확산 정책

Equivariant Visual-Tactile Diffusion Policy for Contact-Rich Manipulation

접촉이 빈번한 조작(contact-rich manipulation)을 위한 모방 학습(imitation learning)은 획득 비용이 높은 고품질 전문가 데이터를 필요로 합니다. 이에 따라 샘플 효율적인(sample-efficient) 정책을 학습하는 것이 핵심 과제가 됩니다. 이를 해결하기 위해, 본 논문에서는 데이터 효율적인 접촉 빈번 조작 모방 학습을 위한 작업공간 수준의 동변(equivariant) 시각-촉각 확산 정책인 VISTA를 제안합니다. VISTA는 시각 및 촉각 관측값을 구면 토큰(spherical token)으로 투영하고, 순열-동변 구면 융합(permutation-equivariant spherical fusion)을 통해 시각 구면 방향에 촉각 접촉 단서를 주입하며, 말단 장치(end-effector)의 방향을 이용해 융합된 조화 표현(harmonic representation)을 회전시킵니다. 생성된 표현은 동변 확산 정책(equivariant diffusion policy)의 조건으로 사용되어 공간적으로 일관된 행동을 예측합니다. 시뮬레이션 및 실제 로봇 환경 모두에서 수행된 광범위한 실험은 VISTA가 강력한 시각-촉각 모방 학습 베이스라인들에 비해 데이터 효율성을 크게 향상시킴을 보여줍니다. 프로젝트 웹사이트: https://vista-paper.github.io/

arXiv:2609.24385v1cs.RO공통 태그 Self-Supervised Learning, tactile sensing

Tactile-JEPA: 분산 촉각 센서를 위한 위상 인식 자기지도 표현 학습

Tactile-JEPA: Topology-Aware Self-Supervised Representation Learning for Distributed Tactile Sensors

촉각 감지는 접촉이 많고 능숙한 조작, 특히 시각적 가림 상황에서 로봇이 수행하는 데 필수적인 양식이다. 로봇 학습 파이프라인에서는 사전학습된 이미지 인코더가 표준이지만, 촉각 인코더는 여전히 원시의 노이즈가 많은 신호로부터 처음부터 학습되는 경우가 많아 표현력이 제한될 수 있다. 기존 자기지도 학습(SSL) 접근법은 주로 비전 기반 촉각 센서에 초점을 맞추어 분산 전자 피부는 대체로 다루지 않았다. 그러나 이러한 센서는 감지 요소가 덮는 표면 위에 sparse하고 불규칙하게 배치된다는 독특한 특성을 가지며, 이로 인해 시각 SSL 방법을 그대로 재사용하기는 최적이 아니다. 본 논문은 촉각 센서의 공간 배치를 이용해 위상 인식 표현을 학습하는 효율적인 자기지도 사전학습 방법 Tactile-JEPA를 제안한다. 구체적으로, 공간 마스킹을 안내하기 위해 센서 연결 그래프를 사용하여 마스킹되지 않은 나머지로부터 마스킹된 감지 요소의 임베딩을 예측하도록 학습한다. 분석 결과, 효과적인 촉각 표현은 국소 접촉 세부와 촉각 표면의 전역 상태를 모두 포착해야 하며, 이를 이중 스케일 마스킹으로 달성한다. 자기 및 압저항 센서, 서로 다른 로봇 형태, 단일 및 쌍 센서 구성을 아우르는 세 가지 다양한 데이터셋에서 Tactile-JEPA는 기존 최신 방법 대비 힘 추정 오류를 6.3%, 손안 방향 오류를 20.8% 줄였으며, 정책 학습을 포함한 다른 하류 응용에서도 일관된 향상을 보였다. 종합하면, 촉각 감지의 이점은 인코더 사전학습의 품질에 크게 좌우되며, Tactile-JEPA가 이 문제를 직접 해결함을 보여준다. 코드는 https://github.com/E-Kovtun/tactile 에서 제공된다.

arXiv:2609.24660v1cs.RO공통 태그 Reinforcement Learning, tactile sensing

Touch2Robot: 인간 시연 루프 내의 로봇 촉각 피드백

Touch2Robot: Robot Touch in the Human Demonstration Loop

인간의 시연(demonstration)은 조작(manipulation) 데이터를 수집하는 확장 가능한 방법을 제공하지만, 이를 로봇 손으로 전이할 때 접촉(contact)이 불안정하거나 실행 불가능할 수 있습니다. 타깃 로봇에서 직접 시연을 수집하면 이러한 불일치를 피할 수 있지만, 데이터 수집 비용이 크게 증가합니다. 이러한 트레이드오프를 해결하기 위해, 본 논문에서는 인간이 타깃 로봇 손이 물체와 어떻게 접촉할지 확인하면서 시연을 수집할 수 있도록 지원하는 프레임워크인 Touch2Robot을 제안합니다. 연구진은 인간 조작 과정에서 인간의 손 움직임, 촉각 장갑(tactile-glove) 측정값, 물체 움직임을 캡처합니다. 이러한 기록은 기록된 인간의 터치와 일치하는 접촉을 선호하면서 시연된 물체 움직임을 재현하도록 물체별 강화학습(RL) 정책을 유도합니다. 이후 학습된 행동들을 유입되는 인간 관측치와 물체 기하학적 구조를 로봇 손 형상으로 매핑하는 통합 실시간 리타게터(retargeter)로 증류(distillation)합니다. 수집 중에는 예측된 로봇 형상이 시뮬레이션에서 추적된 물체 포즈와 동기화되어 로봇-물체 접촉을 재구성하며, 이를 시각화하여 시연자가 타깃 손에 맞춰 후속 상호작용을 조정할 수 있도록 돕습니다. 4개의 실제 환경 태스크 전반에서 Touch2Robot은 시각 전용 피드백 대비 실제 로봇 리플레이 완료율을 평균 37.9%에서 72.1%로 향상시키는 동시에, 리플레이 성공 시연당 수집 시간을 58.6초에서 18.2초로 단축했습니다. 재구성된 타깃 손 접촉은 실제 로봇 촉각 측정값 대비 44.2%의 F1 점수를 달성했으며, Touch2Robot 시연으로 학습된 정책은 시각 전용 피드백 대비 다운스트림 Diffusion Policy 성능을 29.1%포인트 향상시켰습니다. 이러한 결과는 로봇 촉각을 인간 시연 루프에 도입함으로써 확장 가능한 정교한 조작(dexterous manipulation) 데이터 수집의 품질과 효율성을 모두 향상시킴을 보여줍니다. 프로젝트 웹페이지: https://Touch2Robot.github.io/.

arXiv:2609.23352v1cs.CV공통 태그 Self-Supervised Learning, tactile sensing

BiView-Touch: 교차 손 완성을 통한 양손 촉각 표현 학습

BiView-Touch: Learning Bimanual Tactile Representations by Cross-Hand Completion

양손 상호작용은 동일한 물리적 과정에 대해 상보적인 촉각 뷰를 만들지만, 기존 촉각 표현 학습은 두 손을 대체로 독립적으로 모델링하거나 하류 예측을 위해 결합하는 수준에 그쳐 교차 손 관계는 거의 다루지 않았다. 이 간과된 구조를 활용하기 위해, 우리는 마스킹된 목표 손 잠재 변수를 남은 가시 목표 손 영역과 동기화된 전체 대측(contralateral) 손으로부터 완성하는 촉각 전용 프레임워크 BiView-Touch를 제안한다. 기하학 조건부(geometry-conditioned) 방향 디코더를 갖춘 student 인코더가 전체 뷰 EMA 잠재 타깃을 예측하며, 시간적·레이아웃 반사실(counterfactual)은 동기화되고 해부학적으로 조직된 소스 정보에 대한 민감도를 높인다. 통제된 ablation과 소스-컨텍스트 개입은 BiView-Touch가 양측 입력만으로 이득을 보는 것이 아니라, 시간 정렬되고 해부학적으로 조직된 대측 촉각 컨텍스트에 대한 구조화된 교차 손 의존성을 학습함을 보여준다. 공개 HumanTouch 데이터셋에서 고정(frozen) 표현은 저레이블 설정 전반에서 대표적인 자기지도 학습 baseline을 꾸준히 능가한다. 하류 레이블 5%만 사용할 때 BiView-Touch는 양손 손목 운동 인식에서 균형 정확도가 상대 7.1% 향상되고, 힘 기반 상호작용 위상 인식에서는 14.1% 향상된다. 또한 20개 과제 양손 촉각 데이터셋 BVT-20을 소개하고, 녹화 세션 및 사전학습 코퍼스 간 전이와 홀드아웃 양손 과제로의 전이를 입증한다. 코드 및 데이터셋 세부 정보는 익명 프로젝트 페이지에서 확인할 수 있다: https://anonymous.4open.science/w/biview-touch-review-site-050C/.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.