접촉이 빈번한 조작을 위한 동변 시각-촉각 확산 정책
Equivariant Visual-Tactile Diffusion Policy for Contact-Rich Manipulation
한국어 초록
접촉이 빈번한 조작(contact-rich manipulation)을 위한 모방 학습(imitation learning)은 획득 비용이 높은 고품질 전문가 데이터를 필요로 합니다. 이에 따라 샘플 효율적인(sample-efficient) 정책을 학습하는 것이 핵심 과제가 됩니다. 이를 해결하기 위해, 본 논문에서는 데이터 효율적인 접촉 빈번 조작 모방 학습을 위한 작업공간 수준의 동변(equivariant) 시각-촉각 확산 정책인 VISTA를 제안합니다. VISTA는 시각 및 촉각 관측값을 구면 토큰(spherical token)으로 투영하고, 순열-동변 구면 융합(permutation-equivariant spherical fusion)을 통해 시각 구면 방향에 촉각 접촉 단서를 주입하며, 말단 장치(end-effector)의 방향을 이용해 융합된 조화 표현(harmonic representation)을 회전시킵니다. 생성된 표현은 동변 확산 정책(equivariant diffusion policy)의 조건으로 사용되어 공간적으로 일관된 행동을 예측합니다. 시뮬레이션 및 실제 로봇 환경 모두에서 수행된 광범위한 실험은 VISTA가 강력한 시각-촉각 모방 학습 베이스라인들에 비해 데이터 효율성을 크게 향상시킴을 보여줍니다. 프로젝트 웹사이트: https://vista-paper.github.io/
원문 초록
Imitation learning for contact-rich manipulation requires high-quality expert data that is expensive to obtain. This makes learning a sample-efficient policy a key issue. To address this, we propose VISTA, a workspace-level equivariant visuotactile diffusion policy for data-efficient contact-rich imitation learning. VISTA projects visual and tactile observations into spherical tokens, injects tactile contact cues into visual spherical directions through permutation-equivariant spherical fusion, and rotates the fused harmonic representation using the end-effector orientation. The resulting representation conditions an equivariant diffusion policy to predict spatially consistent actions. Extensive experiments in both simulation and real-world robotic settings show that VISTA substantially improves data efficiency over strong visuotactile imitation learning baselines. Project website: https://vista-paper.github.io/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
크로노스 정책(Chronos Policy): 물리적 시간에 기반한 로봇 정책 학습
Chronos Policy: Learning Robot Policies on Physical Time
로봇 정책(policy)은 흔히 센싱(sensing)과 제어(control)를 고정 속도의 관측-행동 시퀀스로 변환하며, 물리적 시간은 시퀀스 상의 위치에 암묵적으로 담긴다. 이러한 가정은 관측 속도나 지연이 변동하거나 추론(inference) 지연 시간이 달라질 때 깨진다. 우리는 관측 포착 시각과 원하는 행동 실행 시각에 조건화하여 물리적 시간을 명시적으로 드러내는 크로노스 정책(Chronos Policy)을 제안한다. 우리는 시간을 디퓨전 트랜스포머(diffusion transformer)에 통합하는 두 가지 방법을 연구한다: 토큰(token) 특징에 타임스탬프 임베딩(embedding)을 추가하는 방법, 그리고 시간 인지 로터리 위치 인코딩(time-aware rotary positional encoding, time-aware RoPE)을 통해 위치 인코딩에 물리적 시간을 인코딩하는 방법이다. 우리는 시간 인지 RoPE가 더 견고하며, 토큰 내용은 그대로 유지하면서 어텐션(attention)이 물리적 시간에 직접 의존하도록 한다는 것을 발견했다. 학습 중에는 어떤 관측이 샘플링되는지와 행동 청크(action chunk)가 시작되는 시점을 시간적으로 무작위화하여, 배포(deployment) 중에 발생할 수 있는 더 넓은 범위의 센싱 및 실행 일정에 정책이 노출되도록 한다. 이는 또한 모든 측정값을 고정된 시간 그리드에 강제로 맞추지 않고도 비동기적이고 다중 속도(multi-rate)의 데이터로부터 학습할 수 있게 한다. 시뮬레이션과 실제 환경 실험 전반에서, 크로노스 정책은 관측-행동 타이밍이 중요한 동적(dynamic) 작업과 관측 간 상대적 타이밍이 중요한 다중 감각(multisensory) 작업에서 성능을 향상시킨다. 표준적인 준정적(quasi-static) 작업에서는 명목 성능을 유지하면서 센싱 및 추론 타이밍 변화에 대한 견고성을 향상시킨다.
미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론
Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination
비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.
장기 작업 스킬 접합부에서의 관측 공간 편차 진단 및 복구
Diagnosing and Recovering from Observation-Space Shift at Long-Horizon Skill Seams
장기(long-horizon) 로봇 조작은 독립적으로 학습(training)된 스킬들을 연쇄적으로 결합하여 구축되는 경우가 많습니다. 각 스킬은 개별적으로는 안정적일 수 있지만, 스킬들이 연결될 때 성능이 급격히 저하됩니다. 즉, 각 후속 스킬은 자체 학습 분포 대신 선행 스킬이 남겨둔 상태에서 시작해야 하기 때문입니다. 본 연구에서는 이러한 실패 모드인 관측 공간 편차(Observation-Space Shift, OSS)를 연구하고, 스킬 접합부(skill seam) 실패를 유발하는 원인을 파악합니다. 특권 시뮬레이터 리셋을 사용하여 분석한 결과, 지배적인 편차는 로봇의 관절 구성이나 후속 스킬이 조작하는 대상 물체가 아니라, 흐트러진 장면 상태(예: 열린 서랍이나 이전 스킬들이 남겨둔 부차적 물체)에서 비롯된다는 점을 발견했습니다. 이러한 진단을 검증하기 위해 완전 학습 기반의 탐지-복원-재개(detect-restore-resume) 시스템을 구축했습니다. 작업 진행 모니터가 정체 상태를 탐지하고, 학습된 정책이 흐트러진 장면 구성요소를 복원하며, 접합부 강건 미세조정(fine-tuning)을 통해 스킬을 재개합니다. 이 시스템은 테스트된 다른 모든 대안이 실패한 접합부를 복구하며, 저자들은 이를 범용적인 방법론이라기보다 해당 진단을 뒷받침하는 증거로 간주합니다. BOSS-44 벤치마크(benchmark)에서 이 시스템은 전체 체인 성공률을 7.6%에서 26.5%로 향상시켜 기본 정책 대비 3.5배의 개선 및 특권 복원 오라클 대비 51%의 성능을 달성한 반면, best-of-K 재샘플링, Diffusion Policy 및 월드 모델(world-model) 베이스라인은 평가된 접합부 상태에서 복구에 실패했습니다. 미세조정된 $π_{0.5}$ 정책으로 구동되는 실제 Franka 로봇 팔의 경우, 동일한 모니터가 외부 카메라의 관측 가능성에 의해 제약을 받지만 루프를 닫음으로써 복구 불가능했을 일부 실패를 복구할 수 있었으며, 이는 손목 및 그리퍼 센싱의 필요성을 시사합니다. 이러한 결과는 일부 장기 결합 실패의 경우, 지지 집합을 벗어난(off-support) 상태에서 재시도하는 것보다 정책을 재개하기 전에 장면을 먼저 복원함으로써 더 효과적으로 해결될 수 있음을 보여줍니다.
CriticHack: 로봇 정책 최적화 환경에서의 시각적 보상 평가
CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization
학습된 시각적 보상 모델(reward model)은 로봇 정책을 최적화하는 데 점점 더 널리 사용되고 있으나, 보상 모델은 잘못된 객체에 작용하는 실행에 대해서도 과제를 완료한 실행만큼 높은 점수를 부여할 수 있다. 본 연구에서는 이러한 보상을 최적화할 경우 보상과 과제 성공률이 모두 상승하면서도 잘못된 객체에 작용하는 실패가 증폭될 수 있음을 보이며, 따라서 실무자가 일반적으로 모니터링하는 지표들은 정상인 것처럼 보이게 된다. 저자들은 서랍 과제에서 Robometer를 대상으로 확산 정책(diffusion policy)의 모든 디노이저 매개변수를 파인튜닝(fine-tuning)했다. 사전 보상 노출이 없었던 지도학습 정책에서 시작하여 5회의 학습을 수행한 결과, 512개의 평가 시드에서 과제 성공률이 10.2%p 증가하고 잘못된 객체 실패가 10.9%p 증가한 반면, 시뮬레이터의 과제 완료 신호로 학습된 5회의 실행에서는 잘못된 객체 실패를 증폭시키지 않으면서 성공률이 증가했다(차이 9.2%p, 95% CI 5.6~13.0). 이러한 증폭 현상은 이전에 학습된 보상에 대해 최적화되었던 정책, 정책 고유의 확산 샘플러 환경, 초기 정책과의 거리가 일치하는 조건, 그리고 두 개의 크리틱(critic)과 두 개의 최적화 도구를 사용한 제약 조건 정책 실험 전반에서 재발한다. 틸트 모델(tilt model)은 이러한 현상이 발생하는 시점을 설명한다. KL 정규화 최적화 하에서 특정 결과의 빈도는 초기 정책에서의 기대 보상이 모집단 평균을 초과할 때마다 더 높아진다. Robometer는 전반적으로 성공과 실패를 잘 구분하지만(AUROC .81), 잘못된 객체 실패에 대해 성공보다 약간 더 높은 점수를 부여하므로(AUROC .37) 최적화 시 두 결과가 모두 증가한다. 동일한 모델은 과제 성공률이 떨어지는 경우를 포함하여 26개의 제약 조건 설정 전반에 걸친 결과 변화를 예측하며(Spearman .89), Robometer 자체에 공개된 성공-종료 레시피 또한 이러한 오류를 그대로 이어받는다. 동결된 결과 검증기(frozen outcome verifier)는 동일한 최적화의 방향을 요청된 과제로 재조정한다.
점진적 시각 계획을 결합한 월드 액션 모델링
World Action Modeling with Progressive Visual Planning
월드 액션 모델(WAM)은 초기 관측값과 지시문으로부터 미래의 시각적 역학(visual dynamics)과 행동(action)을 공동으로 예측함으로써 로봇 제어를 위한 유망한 패러다임으로 부상했습니다. 그러나 밀집된 비디오 롤아웃을 생성하는 것은 비효율성이 매우 높기 때문에 기존 WAM은 장기(long-horizon) 예측에 어려움을 겪습니다. 최근 일부 WAM은 전체 비디오를 생성하지 않고 단일 미래 프레임만 예측하여 이 문제를 해결하고자 하지만, 이러한 접근 방식은 목표를 향해 나아가는 점진적 과정을 간과합니다. 본 논문에서는 행동과 순서화된 희소 시각 하위 목표(sparse visual sub-goals) 시퀀스를 함께 예측하여, 전체 작업 수행 과정 동안 행동 생성을 뒷받침할 명시적인 시각적 가이던스를 제공하는 점진적 월드 액션 모델인 ProWAM을 제안합니다. 하위 목표 예측은 대규모 행동 미포함 비디오(action-free videos)로부터 학습될 수 있어 비디오 백본이 행동 정책으로부터 복잡한 시각적 계획 부담을 덜어줄 수 있으므로, 이 설계는 자연스럽게 확장(scaling)됩니다. 효율적인 행동 생성을 위해 ProWAM은 단 한 번의 비디오 백본 순전파(forward pass)를 실행하여 희소 하위 목표 피처를 캐싱함으로써, 반복적인 전체 비디오 생성을 제거하고 재계획 중에는 경량화된 행동 디노이징만을 요구합니다. 광범위한 평가를 통해 ProWAM은 우수한 분포 외(OOD) 강건성을 달성함을 보여줍니다. 시뮬레이션 벤치마크에서 LIBERO-Plus(85.8%) 및 무작위화된 RoboTwin(75.7%)에서 최고 성능(SOTA)을 새로 기록하며 가장 강력한 기준선(baseline) 대비 최대 +35.9%의 상대적 향상을 보였습니다. RoboCasa365에서는 48.1%의 성공률과 까다로운 Composite-Unseen 분할에서 18.2%를 달성하여 종합 4위를 차지했습니다. 결정적으로 제로샷(zero-shot) 실제 환경 실험에서 ProWAM은 70.0%의 성공률을 달성하여 새로운 환경에서 가장 강력한 기준선 대비 +15.0%포인트(55.0%에서 70.0%로, +27.3% 상대적 향상) 능가했습니다. 이러한 결과는 폐루프(closed-loop) 제어를 위한 진행 상태 기반 시각적 선견(visual foresight)의 가치를 입증합니다. 저희 프로그램은 https://sii-ferenas.github.io/ProWAM-page 에서 확인할 수 있습니다.
EyeRobot 2.0: 손목 카메라 없이 정밀한 조작을 가능하게 하는 능동적 시선 제어
EyeRobot 2.0: Active Gaze for Precise Manipulation without Wrist Cameras
인간의 시각 체계에서 영감을 받아, 단일 스테레오 카메라만으로 정밀한 양손 조작(bimanual manipulation)을 가능하게 하는 능동적 시선 제어(active gaze) 기반 프레임워크를 소개합니다. EyeRobot 2.0은 두 눈의 시점을 회전시켜 시선을 장면에 위치한 3D 주시점(fixation point)의 중심에 맞춤으로써 물리적으로 집중합니다. 그 결과로 얻은 영상은 이미지 중심부에 더 많은 시각적 토큰(token)을 할당하여 중심와 방식으로 처리되며, 연산 자원을 작업과 관련된 특징에 집중시킵니다. 이러한 능동적 시각 고정(Active Visual Fixation, AVF)은 작업 수행 중 정교하게 조율된 시선을 필요로 하므로, 본 연구에서는 계층적 방식으로 이를 구현합니다. 먼저 목표 물체를 조건으로 하는 하위 레벨 시선 서보잉(gaze servoing) 정책을 학습(training)한 후, 작업 진행 상황에 따라 주시 목표를 생성하는 타깃 선택기(target selector)를 학습합니다. 두 모듈 모두 실제 환경 데이터를 바탕으로 강화학습(RL)을 통해 학습됩니다. 첫 번째 모듈은 조밀한 기하학적 보상(reward)으로 학습되며, 두 번째 모듈은 행동 복제(BC) 그리퍼 정책과 함께 공동 학습되어 작업을 수행하는 동안 인간의 주시 순서와 유사한 주시 시퀀스를 발견할 수 있게 합니다. 또한 EyeRobot 2.0은 그리퍼 정보를 주시 기준의 SE(3) 좌표계로 정규화하여 학습해야 할 행동 분포의 크기를 축소함으로써 주시의 이점을 극대화합니다. 본 연구는 7개의 실제 환경 작업과 6개의 시뮬레이션 작업에 대해 원격 조작(teleoperation) 데이터를 수집하고, 동일한 데이터로 학습된 수동적 스테레오 및 1인칭+손목 카메라 정책과 EyeRobot 2.0을 비교하는 1,000회 이상의 실제 로봇 실험과 1,800회 이상의 시뮬레이션 실험을 수행했습니다. 표준 정책에서 손목 카메라를 제거하는 것은 큰 성능 저하를 초래하여, 수동적 스테레오만 사용할 경우 실제 환경 성공률이 52%에서 27%로 떨어집니다. EyeRobot 2.0은 스테레오 카메라만으로 이 격차를 좁혀 실제 환경에서 40%, 시뮬레이션에서 20% 수동적 스테레오보다 우수한 성능을 보였습니다. 또한 손목 시야가 확보된 경우 1인칭+손목 카메라 정책과 대등한 성능을 보였으며(69% 대 64%), 파지한 물체가 손목 카메라를 가릴 때는 성공률을 두 배 이상 끌어올렸습니다(48% 대 22%).
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
21 pages, 6 figures. Accepted to the 10th Conference on Robot Learning (CoRL 2026)