PyTorchKR Papers

최신 논문

총 20편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12069v2cs.CV

Tac-DINO: Learning Tactile Features with Patch Alignment

Multisensory perception is essential for robotic manipulation, with tactile sensing providing critical information for fine-grained, contact-rich interactions. Although prior work integrates tactile and spatial signals to improve perception, vision-tactile learning commonly relies on object-level alignment. Addressing this limitation requires systematically aligned 3D vision-tactile data. We develop a data collection system and introduce Touch3D, a dataset comprising 505 real-world objects and 20,025 tactile contacts. Building on this dataset, we establish the Contact-Centric Multimodal Tactile Representation Benchmark (CoMT-Bench), which expands evaluation from object-level retrieval and tactile properties to include patch-level contact evaluation. We further propose Geometry-Relation Distilled Tactile-Centric Cross-Modal Learning (GeoTAC), which explores tactile learning across all multisensory data. In experiments on the Touch3D test set, patch-level alignment improves the average score by 5.32 over object-level alignment, with GeoTAC's geometric supervision improving it by a further 4.48. In robotic manipulation, GeoTAC improves TP by 19.14 and 11.34 over DINOv2 (Vision-only) and DINOv2 (Vision-Tactile), respectively. Project page: https://lihongcs.github.io/tacdino.

arXiv:2610.02338v1cs.RO

SoTa: 정교한 조작을 위한 소프트 촉각 스킨

SoTa: Soft Tactile Skins for Dexterous Manipulation

점점 더 많은 연구들이, 촉각 센싱(tactile sensing)이 정교한 조작(dexterous manipulation)에서 비전(vision)을 보완하는 접촉 정보를 로봇 정책(policy)에 제공한다는 것을 시사하고 있다. 그러나 시각-촉각(visuo-tactile) 로봇 데이터는 여전히 부족하다: 정교한 시연(demonstration)은 로봇을 원격 조작(teleoperation)해야 하므로 데이터셋 규모가 제한된다. 인간의 시연은 수집 비용이 훨씬 저렴하여 이러한 데이터를 확장할 수 있는 방법을 제공하지만, 이는 인간과 로봇의 손이 서로 대응하는 신호를 갖는 촉각 센서를 장착하고 있을 때만 가능하다. 이를 위해서는 서로 다른 손 형태(geometry)에 맞게 변형되고, 손 전체를 덮으며, 신체(embodiment) 간에 공통된 배치(layout)를 공유하는 센서가 필요하다. 우리는 SoTa를 제시한다. 이는 저비용 정전식(capacitive) 촉각 스킨으로, 인간과 로봇 모두에서 손 전체를 덮으면서도 대응하는 손가락 및 손바닥 영역에 걸쳐 202개의 택셀(taxel)로 구성된 공유 배치를 유지한다. 직물 전극(fabric electrode)을 사용한 다층 설계(multilayer design)를 통해, 스킨 한 장당 10달러 미만의 재료비로 맞춤형 형태의 얇고 부드러운 스킨을 자체 제작(in-house fabrication)할 수 있다. 이 센서는 10,000회의 하중-제거(loading-unloading) 사이클 후에도 초기 응답 범위(response span)의 97% 이상을 유지하며, 배선(trace)은 1,280회의 꽉 쥔 주먹(tight-fist) 접힘 사이클 동안 연속성을 유지한다. 공유된 택셀 배치는 공통의 촉각 인코더(tactile encoder)를 사용하여 학습된 센서 간 매핑(cross-sensor mapping) 없이도 인간-로봇 공동 학습(co-training)을 지원한다. 접촉이 많은(contact-rich) 세 가지 조작 과제에서, 촉각 관측(observation)은 비전만 사용하는 정책보다 분포 내(in-distribution) 성공률을 향상시킨다. 고정된 로봇 시연 예산 하에서, 인간 시연을 추가하면 8개의 평가 조건에 걸친 평균 성공률이 22.8%에서 45.9%로 두 배 이상 향상되며, 5개의 분포 외(out-of-distribution) 조건 모두에서 성공률이 개선된다. 우리는 이 스킨을 제작하고 운용하는 데 필요한 자료를 오픈소스로 공개할 계획이다.

arXiv:2610.03333v1cs.RO

접촉이 빈번한 조작을 위한 동변 시각-촉각 확산 정책

Equivariant Visual-Tactile Diffusion Policy for Contact-Rich Manipulation

접촉이 빈번한 조작(contact-rich manipulation)을 위한 모방 학습(imitation learning)은 획득 비용이 높은 고품질 전문가 데이터를 필요로 합니다. 이에 따라 샘플 효율적인(sample-efficient) 정책을 학습하는 것이 핵심 과제가 됩니다. 이를 해결하기 위해, 본 논문에서는 데이터 효율적인 접촉 빈번 조작 모방 학습을 위한 작업공간 수준의 동변(equivariant) 시각-촉각 확산 정책인 VISTA를 제안합니다. VISTA는 시각 및 촉각 관측값을 구면 토큰(spherical token)으로 투영하고, 순열-동변 구면 융합(permutation-equivariant spherical fusion)을 통해 시각 구면 방향에 촉각 접촉 단서를 주입하며, 말단 장치(end-effector)의 방향을 이용해 융합된 조화 표현(harmonic representation)을 회전시킵니다. 생성된 표현은 동변 확산 정책(equivariant diffusion policy)의 조건으로 사용되어 공간적으로 일관된 행동을 예측합니다. 시뮬레이션 및 실제 로봇 환경 모두에서 수행된 광범위한 실험은 VISTA가 강력한 시각-촉각 모방 학습 베이스라인들에 비해 데이터 효율성을 크게 향상시킴을 보여줍니다. 프로젝트 웹사이트: https://vista-paper.github.io/

arXiv:2609.40134v2cs.RO

촉각적 호기심을 통한 로봇 상호작용 유도

Tactile Curiosity Drives Robot Interaction

강화학습(RL)을 통해 로봇 조작 기술을 습득하는 것은 여전히 표본 효율성(sample efficiency)이 크게 떨어집니다. 가장 일반적인 강화학습 알고리즘은 새로운 전략을 발견하기 위해 무작위 행동 샘플링에 의존하므로, 조작 기술이 발현되는 접촉과는 거리가 먼 자유 공간에서의 움직임에 학습 예산의 대부분을 할당하게 됩니다. 모델 불일치나 인식론적 불확실성(epistemic uncertainty)에 기반한 기존 내재적 동기 부여 방법들은 등방성 노이즈보다 개선되었으나, 자유 공간에서의 불규칙한 움직임과 같이 기능적으로 무관한 전이의 불확실성에 대해서도 보상을 제공할 수 있습니다. 본 연구에서는 촉각 피드백이 탐험을 위한 자연스러운 신호를 제공한다고 주장하며, 감각 양식(sensory modalities) 전반에 걸쳐 모델 불확실성을 분해하고 호기심을 촉각 채널로 유도함으로써 촉각을 인식론적 불확실성 기반 탐험에 통합하는 프레임워크인 TacEx를 소개합니다. TacEx는 호기심을 촉각에 고정함으로써 로봇이 복잡한 접촉 동역학을 발견하도록 유도하여, 탐험 과정에서 과제 보상이나 전문가 시연 없이도 물체를 조작하고 파지(grasping)하는 법을 학습하도록 합니다. 이러한 촉각 주도형 호기심을 통해 수집된 상호작용 밀집 데이터셋은 추가적인 환경 상호작용 없이도 다운스트림 집기 및 놓기(pick-and-place) 정책의 오프라인 학습을 지원합니다. 나아가 우리는 촉각 주도형 탐험을 활용하여 비전-언어-행동(VLA) 모델을 사후 학습합니다. VLA는 초기에 촉각 피드백 없이 사전학습되었음에도 불구하고, TacEx를 통한 사후 학습은 매우 높은 표본 효율성을 유지하면서 다운스트림 성능을 실질적으로 향상시킵니다.

arXiv:2606.25886v2cs.RO

촉각 센서의 공정한 테스트 및 비교를 위한 3D 프린팅 가능 데이터셋

A 3D-Printable Dataset for Fair Testing and Comparisons of Tactile Sensors

기존 촉각 텍스처 데이터셋은 특정 센서의 측정값 중심이라 센서 간 공정한 비교와 재현성이 제한되는 문제를, 사인파·�ourier 기반 수식으로 정의한 6종 3D 프린팅 텍스처 벤치마크로 해결한다. TacTip 센서로 여러 3D 프린터·필라멘트 조합의 재현성을 평가한 결과, 인쇄 품질이 촉각 분산에 큰 영향을 미치며 고급 프린터는 더 일관된 시그니처를 보였고, 고품질 출력은 프린터 내 일반화는 강하지만 기하학적 불일치로 프린터 간 일반화는 어렵다는 점을 보여준다.

arXiv:2609.24660v1cs.RO

Touch2Robot: 인간 시연 루프 내의 로봇 촉각 피드백

Touch2Robot: Robot Touch in the Human Demonstration Loop

인간의 시연(demonstration)은 조작(manipulation) 데이터를 수집하는 확장 가능한 방법을 제공하지만, 이를 로봇 손으로 전이할 때 접촉(contact)이 불안정하거나 실행 불가능할 수 있습니다. 타깃 로봇에서 직접 시연을 수집하면 이러한 불일치를 피할 수 있지만, 데이터 수집 비용이 크게 증가합니다. 이러한 트레이드오프를 해결하기 위해, 본 논문에서는 인간이 타깃 로봇 손이 물체와 어떻게 접촉할지 확인하면서 시연을 수집할 수 있도록 지원하는 프레임워크인 Touch2Robot을 제안합니다. 연구진은 인간 조작 과정에서 인간의 손 움직임, 촉각 장갑(tactile-glove) 측정값, 물체 움직임을 캡처합니다. 이러한 기록은 기록된 인간의 터치와 일치하는 접촉을 선호하면서 시연된 물체 움직임을 재현하도록 물체별 강화학습(RL) 정책을 유도합니다. 이후 학습된 행동들을 유입되는 인간 관측치와 물체 기하학적 구조를 로봇 손 형상으로 매핑하는 통합 실시간 리타게터(retargeter)로 증류(distillation)합니다. 수집 중에는 예측된 로봇 형상이 시뮬레이션에서 추적된 물체 포즈와 동기화되어 로봇-물체 접촉을 재구성하며, 이를 시각화하여 시연자가 타깃 손에 맞춰 후속 상호작용을 조정할 수 있도록 돕습니다. 4개의 실제 환경 태스크 전반에서 Touch2Robot은 시각 전용 피드백 대비 실제 로봇 리플레이 완료율을 평균 37.9%에서 72.1%로 향상시키는 동시에, 리플레이 성공 시연당 수집 시간을 58.6초에서 18.2초로 단축했습니다. 재구성된 타깃 손 접촉은 실제 로봇 촉각 측정값 대비 44.2%의 F1 점수를 달성했으며, Touch2Robot 시연으로 학습된 정책은 시각 전용 피드백 대비 다운스트림 Diffusion Policy 성능을 29.1%포인트 향상시켰습니다. 이러한 결과는 로봇 촉각을 인간 시연 루프에 도입함으로써 확장 가능한 정교한 조작(dexterous manipulation) 데이터 수집의 품질과 효율성을 모두 향상시킴을 보여줍니다. 프로젝트 웹페이지: https://Touch2Robot.github.io/.

arXiv:2609.24385v1cs.RO

Tactile-JEPA: 분산 촉각 센서를 위한 위상 인식 자기지도 표현 학습

Tactile-JEPA: Topology-Aware Self-Supervised Representation Learning for Distributed Tactile Sensors

촉각 감지는 접촉이 많고 능숙한 조작, 특히 시각적 가림 상황에서 로봇이 수행하는 데 필수적인 양식이다. 로봇 학습 파이프라인에서는 사전학습된 이미지 인코더가 표준이지만, 촉각 인코더는 여전히 원시의 노이즈가 많은 신호로부터 처음부터 학습되는 경우가 많아 표현력이 제한될 수 있다. 기존 자기지도 학습(SSL) 접근법은 주로 비전 기반 촉각 센서에 초점을 맞추어 분산 전자 피부는 대체로 다루지 않았다. 그러나 이러한 센서는 감지 요소가 덮는 표면 위에 sparse하고 불규칙하게 배치된다는 독특한 특성을 가지며, 이로 인해 시각 SSL 방법을 그대로 재사용하기는 최적이 아니다. 본 논문은 촉각 센서의 공간 배치를 이용해 위상 인식 표현을 학습하는 효율적인 자기지도 사전학습 방법 Tactile-JEPA를 제안한다. 구체적으로, 공간 마스킹을 안내하기 위해 센서 연결 그래프를 사용하여 마스킹되지 않은 나머지로부터 마스킹된 감지 요소의 임베딩을 예측하도록 학습한다. 분석 결과, 효과적인 촉각 표현은 국소 접촉 세부와 촉각 표면의 전역 상태를 모두 포착해야 하며, 이를 이중 스케일 마스킹으로 달성한다. 자기 및 압저항 센서, 서로 다른 로봇 형태, 단일 및 쌍 센서 구성을 아우르는 세 가지 다양한 데이터셋에서 Tactile-JEPA는 기존 최신 방법 대비 힘 추정 오류를 6.3%, 손안 방향 오류를 20.8% 줄였으며, 정책 학습을 포함한 다른 하류 응용에서도 일관된 향상을 보였다. 종합하면, 촉각 감지의 이점은 인코더 사전학습의 품질에 크게 좌우되며, Tactile-JEPA가 이 문제를 직접 해결함을 보여준다. 코드는 https://github.com/E-Kovtun/tactile 에서 제공된다.

arXiv:2609.23352v1cs.CV

BiView-Touch: 교차 손 완성을 통한 양손 촉각 표현 학습

BiView-Touch: Learning Bimanual Tactile Representations by Cross-Hand Completion

양손 상호작용은 동일한 물리적 과정에 대해 상보적인 촉각 뷰를 만들지만, 기존 촉각 표현 학습은 두 손을 대체로 독립적으로 모델링하거나 하류 예측을 위해 결합하는 수준에 그쳐 교차 손 관계는 거의 다루지 않았다. 이 간과된 구조를 활용하기 위해, 우리는 마스킹된 목표 손 잠재 변수를 남은 가시 목표 손 영역과 동기화된 전체 대측(contralateral) 손으로부터 완성하는 촉각 전용 프레임워크 BiView-Touch를 제안한다. 기하학 조건부(geometry-conditioned) 방향 디코더를 갖춘 student 인코더가 전체 뷰 EMA 잠재 타깃을 예측하며, 시간적·레이아웃 반사실(counterfactual)은 동기화되고 해부학적으로 조직된 소스 정보에 대한 민감도를 높인다. 통제된 ablation과 소스-컨텍스트 개입은 BiView-Touch가 양측 입력만으로 이득을 보는 것이 아니라, 시간 정렬되고 해부학적으로 조직된 대측 촉각 컨텍스트에 대한 구조화된 교차 손 의존성을 학습함을 보여준다. 공개 HumanTouch 데이터셋에서 고정(frozen) 표현은 저레이블 설정 전반에서 대표적인 자기지도 학습 baseline을 꾸준히 능가한다. 하류 레이블 5%만 사용할 때 BiView-Touch는 양손 손목 운동 인식에서 균형 정확도가 상대 7.1% 향상되고, 힘 기반 상호작용 위상 인식에서는 14.1% 향상된다. 또한 20개 과제 양손 촉각 데이터셋 BVT-20을 소개하고, 녹화 세션 및 사전학습 코퍼스 간 전이와 홀드아웃 양손 과제로의 전이를 입증한다. 코드 및 데이터셋 세부 정보는 익명 프로젝트 페이지에서 확인할 수 있다: https://anonymous.4open.science/w/biview-touch-review-site-050C/.

arXiv:2607.14728v1cs.CV

VQ-Touch: 센서 및 시나리오를 아우르는 데이터 효율적 촉각 생성 프레임워크

VQ-Touch: A Data-Efficient Tactile Generation Framework Across Sensors and Scenarios

촉각 이미지 생성은 고품질 촉각 데이터를 합성함으로써 비용이 많이 들고 마모에 취약한 센서에 대한 의존성을 크게 줄여, 로봇 지각 및 인간-기계 상호작용 시스템에서 촉각 정보 획득을 위한 효율적인 해결책을 제공한다. 그러나 기존 방법들은 특정 센서로부터의 대규모·다양한 데이터셋에 의존하며 효율적인 데이터 활용과 견고한 일반화 능력이 부족하여, 시각 정보가 제한된 환경에서 어려움을 겪는다. 이를 해결하기 위해, 교차 센서 및 다중 시나리오 응용을 모두 지원하는 촉각 생성 프레임워크인 VQ-Touch를 제안한다. 구체적으로, 데이터로부터 복잡한 변형 및 질감 특징을 효율적으로 추출하기 위해 효과적인 촉각 표현 학습기인 DM-VQGAN을 제안한다. 또한 통합 조건화 인터페이스를 갖춘 이산 확산 디코더를 도입하여 이미지 및 레이블과 같은 멀티모달 생성 작업을 지원하고, 퓨샷(few-shot) 혼합 학습을 통해 모델의 일반화 능력을 향상시켜 현재 주류 센서 및 그 변형과의 호환성을 달성한다. 실험 결과, VQ-Touch는 여러 작업에서 최신(state-of-the-art) 방법들을 능가한다.

arXiv:2607.13479v1cs.RO

희소 촉각으로부터 변형 객체의 토폴로지 불변 메시 재구성

Topology-Agnostic Mesh Reconstruction of Deformable Objects from Sparse Touch

변형 객체의 전체 형상을 추정하는 것은 시각 정보를 사용할 수 없을 때 특히 어렵다: 어두운 환경, 불투명한 가방 안, 조작하는 손 뒤, 또는 심한 자기 가림(self-occlusion) 하에서 그렇다. 이러한 상황에서 촉각(touch)은 자연스러운 센서이지만, 접촉은 희소(sparse)하고 국소적(local)이다. 우리는 시각 정보 없이 단 몇 번의 접촉만으로 변형 객체의 전체 메시(mesh)를 재구성하는 단일 토폴로지 불변(topology-agnostic) 추정기를 제시한다. 1D 로프(rope), 2D 천(cloth), 3D 체적 연성체(volumetric soft body)를 모두 다루는 하나의 순열 불변(permutation-invariant) 크로스 어텐션(cross-attention) 아키텍처를 사용한다. 학습된 추정기는 비학습 기반 기하학적 메시 보완(completion) 및 가우시안 프로세스(Gaussian process) 표면 기준선 대비 재구성 오류를 대략 3분의 2만큼 줄이며, 더 단순한 글로벌 풀(global-pool) 집합 인코더(set encoder)보다 우수하다. 접촉이 더 많이 관측될수록 성능 격차는 커진다. 이어서 추정기의 딥 앙상블(deep-ensemble) 불확실성을 다음 접촉 위치를 학습하는 데 활용할 수 있음을 보인다. 이는 오류를 더 줄이며, 희소한 예산(sparse budgets)에서 무작위 접촉과 가우시안 프로세스 능동(active) 기준선을 모두 능가한다. 이 이득은 평균적으로는 완만하지만 자기 가림이 심할수록, 그리고 오류 꼬리(error tail)에서 더 커진다. 시각 정보도 사용 가능할 때는 어디를 접촉할지는 거의 중요하지 않으며, 이는 우리가 연구하는 시각 정보 없는(vision-free) 설정을 정당화한다.

arXiv:2607.09218v1cs.RO

전체 팔 조작을 위한 촉각 및 시각 조건부 접촉 중심 제어

Tactile and Vision Conditioned Contact-Centric Control for Whole-Arm Manipulation

전체 팔 조작(whole-arm manipulation)은 로봇이 접촉이 형성되고, 미끄러지고, 끊어지는 과정에서 여러 링크에 걸쳐 접촉을 분산시키며 작업을 완수하는 동안 환경과 직접적인 접촉을 수반한다. 이 설정은 많은 학습 기반 조작 파이프라인에서 흔히 가정하는 암묵적 전제들을 깨뜨린다: 팔 구성(arm configuration)이 동작과 접촉력을 긴밀하게 결합시키고, 접촉 상태는 가림(occlusion) 하에서 부분적으로만 관찰되며, 순수하게 학습된 롤아웃은 많은 다중 링크 접촉 구성이 데이터에서 희소하게 표현되기 때문에 분포 변화(distribution shift) 하에서 물리적으로 비일관적이 될 수 있다. 이를 해결하기 위해 우리는 전체 팔 조작을 위한 후퇴 수평선 제어기(receding-horizon controller)인 TACTIC(Tactile and Vision Conditioned Contact-Centric Control)을 제안한다. TACTIC은 RGB-D, 분산 촉각 센싱(distributed tactile sensing), 그리고 간결한 2D 근접 표현을 결합하는 접촉 중심 하이브리드 예측 모델을 사용한다. 이 모델은 학습된 행동 조건부 잠재 동역학 모델을 접촉 야코비안을 통한 해석적 기구학(analytical kinematics)과 결합하여, 미래 접촉 구성 및 상호작용 힘의 롤아웃을 가능하게 한다. TACTIC은 이러한 롤아웃을 접촉 인식 행동 샘플링을 갖춘 샘플링 기반 MPC 플래너에 통합한다: 접촉 야코비안 기반 투영은 샘플링된 행동 시퀀스를 힘 조절 방향으로 유도하고, 예측된 근접도 및 상호작용 힘에 대해 정의된 목적 함수는 작업 진행을 전체 팔 힘 조절과 균형 있게 절충한다. 우리는 시뮬레이션에서 최신 모델 기반 및 모델 프리 방법들과 비교하여 TACTIC을 평가하고, 각 설계 선택의 기여도를 분리하는 에블레이션(ablation) 실험을 수행한다. TACTIC은 지속적으로 다른 방법들을 능가한다. 우리는 또한 다중 접촉 궤적이 필요한 세 가지 전체 팔 조작 작업—마네킹 뒤집기 및 재배치, 3D 동적 미로에서 목표 도달—에 걸쳐 분산 촉각 센싱을 갖춘 로봇에서 실제 환경 성능을 시연한다. 웹사이트: https://emprise.cs.cornell.edu/tactic

arXiv:2607.05131v1cs.AI

TacReasoner: 실세계 시나리오에서 상호작용적 추론을 위한 동적 촉각-언어 프레임워크

TacReasoner: A Dynamic Tactile-Language Framework for Interactive Reasoning in Real-World Scenarios

인간의 다섯 가지 기본 감각 중 촉각은 실세계 환경에서 물리적 접촉과 상호작용을 지각할 수 있게 해준다는 점에서 생존에 가장 근본적인 감각이라 할 수 있습니다. 본 논문에서는 멀티모달 추론을 위한 지능형 시스템에 촉각 센싱을 통합하는 두 가지 핵심 과제를 탐구합니다: (i) 동적 촉각 신호의 불충분한 모델링으로 인해 시간적으로 변화하는 속성에 대한 추론이 제한되는 문제, (ii) 명시적 추론 메커니즘의 부재로 인해 촉각 파운데이션 모델에서 발생하는 환각(hallucination)으로 실세계 추론이 불안정해지는 문제. 이러한 과제를 해결하기 위해, 본 논문은 실세계 시나리오에서 상호작용적 추론을 위한 동적 촉각-언어 프레임워크인 TacReasoner를 제안합니다. 먼저, TacReasoner는 동적 촉각 신호의 지각 및 표현을 향상시키기 위한 동적 인식 촉각 인코더(Dynamic-aware Tactile Encoder)를 통합합니다. 더 나아가, 촉각 입력에 대한 구조화된 추론을 위한 최초의 촉각 사고의 연쇄(Chain-of-Thought) 데이터셋인 TouchCoT-10k를 제시합니다. 이를 기반으로, 동적 촉각 지각과 실세계 상식 추론을 체계적으로 평가하는 DynTac-Bench를 구축합니다. 실험 결과, TacReasoner는 다수의 데이터셋에서 최신 모델들과 경쟁력 있는 성능을 달성합니다. 특히, 7B 파라미터만을 사용함에도 불구하고 TacReasoner는 대부분의 서브태스크에서 14B 규모의 VTV-LLM 모델을 능가하며, 촉각 상식 추론에서의 효과성과 효율성을 입증합니다.

arXiv:2607.00302v1cs.CV

터치를 위한 각성! MLLMs에서의 마스크 격리 촉각 정렬 학습

Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs

멀티모달 LLM에 촉각 모달리티를 추가할 때 발생하는 치명적 망각(catastrophic forgetting) 문제를 해결하기 위해, Splash는 사전학습된 파라미터의 중요도를 정량화하여 핵심 부분공간은 동결하고 휴면 부분공간만 선택적으로 업데이트하는 마스크 격리 촉각 정렬(mask-isolated tactile alignment) 프레임워크를 제안한다. Splash-3B는 SSVTP, TVL, TacQuad 등 시각-촉각 벤치마크에서 기존 7B 규모 모델을 능가하는 최첨단 성능을 달성하면서도 추가적인 추론 오버헤드 없이 기존 비전-언어 능력을 온전히 유지함을 입증한다.

arXiv:2606.31694v1cs.RO

RCT: 촉각 일반화를 위한 로봇 수집 터치-비전-언어 데이터셋

RCT: A Robot-Collected Touch-Vision-Language Dataset for Tactile Generalization

로봇이 미지의 재료를 조작할 때 촉각 표현의 일반화 능력을 평가하기 위해, 122종 산업용 재료에 대한 29,279개의 촉각 프레임을 접촉 시퀀스 단위로 보존한 터치-비전-언어 데이터셋 RCT를 제안한다. 프레임 단위 랜덤 분할이 접촉 시퀀스 중복으로 성능을 17.7%p 과대평가함을 실증하고, 재료 홀드아웃 시 Recall@1이 25.1±6.1%로 급락하여 새로운 재료에 대한 일반화가 로봇 촉각 지각의 핵심 미해결 과제임을 밝힌다.

arXiv:2606.31451v1cs.RO

UniTac: A Unified Multimodal Model for Cross-Sensor Tactile Understanding and Generation

UniTac은 촉각(tactile) 도메인 최초의 통합 멀티모달 모델(UMM)로, 센서 수준 설정과 객체 수준 의미를 이중 표현으로 동시에 모델링하여 크로스센서 촉각 이해와 생성을 단일 프레임워크 내에서 수행한다. 400만 클립 이상의 대규모 멀티센서 데이터셋으로 학습한 UniTac은 PHYSICLEAR-Test 벤치마크에서 촉각 이해 최고 성능을 달성하고, 재구성·정렬 2단계 생성 패러다임과 센서 사전 기반 샘플링 전략을 통해 다양한 센서에서 사실적인 촉각 신호를 합성한다.

arXiv:2606.24712v1cs.RO

TACTFUL: Tactile-Driven Exploration For Object Localization and Identification in Confined Environments

Humans effortlessly locate and identify objects by touch alone, even without vision. In contrast, robotic systems rely heavily on vision and struggle with autonomous tactile exploration and object identification. We present TACTFUL, a vision-free tactile exploration framework that enables a multi-fingered robot to autonomously explore confined workspaces, discover objects through contact, and identify them via tactile reconstruction. Trained entirely on real hardware without simulation, our system learns a single policy that balances global workspace exploration with local surface refinement through a dynamic reward schedule. Our results demonstrate that tactile sensing, when paired with structured learning, can serve as an effective primary modality for object-level reasoning, achieving 77% success with 0.015 m average reconstruction error and outperforming baseline approaches on real-world objects.

arXiv:2606.17438v1cs.CV

반사성 및 투명 물체의 고해상도 3차원 표면 측정을 위한 접촉 기반 프린지 투영 계측법

Contact-Based Fringe Projection Profilometry for High-Resolution 3-D Surface Measurement of Reflective and Transparent Objects

본 논문은 상업적으로 성공한 GelSight 센서가 개척한 비전 기반 촉각 감지(vision-based tactile sensing) 계열에 속하는 디지털 프린지 투영(DFP) 시스템을 기반으로 하는 접촉 기반 3차원 표면 측정 방법을 제시합니다. 이러한 센서들은 로봇 손가락 끝 조작 및 접촉 감지에 효과적인 것으로 입증되었습니다. 그러나 GelSight는 RGB LED를 사용하는 포토메트릭 스테레오(photometric stereo)를 사용하기 때문에 절대 깊이를 직접 측정하지 않고 추정된 표면 기울기를 적분하여 추론하며, 이로 인해 재구성 오류가 누적될 수 있습니다. 또한 감지 영역이 커질수록 보정이 점점 어려워지며, 고반사성 또는 투명 물체에 대해서는 깊이 정확도에 한계가 있습니다. 이러한 단점을 극복하기 위해, 본 연구에서는 코팅된 실리콘 접촉 표면에서 삼각측량 기반 3차원 재구성을 수행하는 프린지 투영 기반 접촉 측정 기법을 제안합니다. 이는 접촉 영역에 걸쳐 조밀한 픽셀별 표면 기하학 및 전체 영역(full-field) 3차원 형상 측정을 제공합니다. 고정밀 디지털 프린지 투영을 센서에 통합함으로써, 제안하는 접근 방식은 더 넓은 영역에 대한 보정을 단순화하고 복잡한 표면에 대한 깊이 정밀도를 향상시킵니다. GelSight Mini 센서와의 직접 비교, 구 피팅(sphere-fitting) 정확도 평가, 불확실성 분석을 포함한 실험 결과는, 제안된 방법이 구조광(structured-light) 기반 3차원 측정의 정확도와 안정성을 크게 향상시켜 다양한 광학적 특성을 가진 물체의 신뢰할 수 있는 재구성을 가능하게 함을 확인했습니다.

arXiv:2606.11743v1cs.RO

TacCoRL: 시뮬레이션을 통한 비전-언어-행동(VLA) 모델로의 촉각 피드백 통합

TacCoRL: Integrating Tactile Feedback into VLA via Simulation

비전-언어-행동(VLA) 모델은 로봇 조작을 위해 강력한 시각, 언어, 행동 사전(priors)을 제공하지만, 시각적 관찰만으로는 접촉 중심 작업에 필요한 국부적 접촉 상태를 파악하지 못하는 경우가 많습니다. 본 논문에서는 TacCoRL을 소개합니다. 이는 확장 가능한 프레임워크로, 대규모 촉각 사전학습이나 광범위한 실제 환경 접촉 탐험 없이 VLA 정책에 촉각 피드백을 주입하고 시뮬레이션-실제 공동 학습(sim-real Co-training)과 시뮬레이션 기반 강화학습(RL)을 통해 이를 개선합니다. 핵심 아이디어는 단순히 촉각을 입력으로 추가하는 것이 아니라, 시연(demonstrations)에서는 드물고 하드웨어에서 수집하기 위험한 실패 직전 상태(near-failure states)에서 접촉 판독값이 행동 반응을 어떻게 조절해야 하는지 학습하는 것입니다. 우리는 접촉 상호작용을 위한 폐루프 학습 환경으로 실제 환경과 정렬된 시뮬레이터를 사용합니다. 혼합된 시뮬레이션 및 실제 궤적이 사전학습된 정책 내에서 촉각 조건부 행동을 먼저 초기화(warm-start)합니다. 검증 가능한 작업 보상을 사용하는 강화학습은 이후 시뮬레이션된 접촉 롤아웃을 사용하여 정책을 최적화합니다. 이는 작업 완료로 이어지는 촉각 조건부 행동을 강화하며, 실제 궤적에 대한 지도 학습 목적 함수는 정교화된 정책이 배포 시의 시각, 촉각 및 행동 분포에 고정(anchored)되도록 유지합니다. 결과적으로 생성된 정책은 특권적 시뮬레이션 상태나 온라인 실제 환경 강화학습 없이 실제 로봇으로 직접 전이됩니다. 네 가지 양손 접촉 중심 작업에서 최종 시각-촉각 정책은 기준선(baseline)인 50.0%에 비해 평균 72.5%의 성공률을 달성했습니다. 결과 영상과 자세한 내용은 https://tac-corl.github.io/ 에서 확인할 수 있습니다.

arXiv:2606.11767v1cs.RO

Real2Sim2Real 촉각 정책 학습을 통한 시각 없는 정교한 파악

Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning

시각 정보 없는 정교한 파악을 위해 실제 촉각 신호를 재현하는 Real2Sim 보정 파이프라인과 레이아웃 인식 촉각 인코더를 결합한 프레임워크를 제안한다. 이 방법은 보정된 시뮬레이터에서 학습된 강화학습 전문가들을 촉각 조건부 디퓨전 정책으로 통합하여 실제 환경에서 27%의 파악 성공률을 달성했다.

arXiv:2606.11637v1cs.AI

TouchThinker: 대규모 데이터와 행동 인식 표현을 통한 오픈 월드 촉각 상식 추론 확장

TouchThinker: Scaling Tactile Commonsense Reasoning to the Open World with Large-scale Data and Action-aware Representation

촉각 상식 추론의 오픈 월드 확장을 위해 대규모 데이터셋과 액션 인지 표현 학습 메커니즘을 갖춘 TouchThinker 프레임워크를 제안한다. 100만 개 규모의 데이터셋 구축과 효율적인 표현 모델링을 통해 다양한 데이터셋에서 최첨단 성능을 달성했다.