arXiv:2311.12943

InteRACT: Transformer Models for Human Intent Prediction Conditioned on Robot Actions

Kushal Kedia, Atiksh Bhardwaj, Prithwish Dan, Sanjiban Choudhury

제출 2023-11-21

원문 초록

In collaborative human-robot manipulation, a robot must predict human intents and adapt its actions accordingly to smoothly execute tasks. However, the human's intent in turn depends on actions the robot takes, creating a chicken-or-egg problem. Prior methods ignore such inter-dependency and instead train marginal intent prediction models independent of robot actions. This is because training conditional models is hard given a lack of paired human-robot interaction datasets. Can we instead leverage large-scale human-human interaction data that is more easily accessible? Our key insight is to exploit a correspondence between human and robot actions that enables transfer learning from human-human to human-robot data. We propose a novel architecture, InteRACT, that pre-trains a conditional intent prediction model on large human-human datasets and fine-tunes on a small human-robot dataset. We evaluate on a set of real-world collaborative human-robot manipulation tasks and show that our conditional model improves over various marginal baselines. We also introduce new techniques to tele-operate a 7-DoF robot arm and collect a diverse range of human-robot collaborative manipulation data, which we open-source.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.19142v3cs.CV공통 태그 Transfer Learning, Robot Manipulation

PointZero: 전이 가능한 3D 동역학 학습을 위한 3D 포인트 트랙 완성

PointZero: 3D Point Track Completion for Learning Transferable 3D Dynamics

월드 모델(world model)은 지각 시스템에 상호작용에 따라 장면이 어떻게 변화하는지를 예측하는 능력을 부여한다. 월드 모델은 다양한 양의 데이터로 학습되었을 때 가장 큰 이점을 가지며, 이를 통해 다운스트림 응용에 풍부한 사전 지식(prior)을 심어줄 수 있다. 기존 방법들은 행동 조건화된(action-conditioned) 3D 동역학을 학습하기 위해 일반적으로 로봇 행동 레이블을 필요로 하며, 이는 웹 비디오 데이터를 학습 풀에서 제외시킨다. 우리는 로봇 데이터 없이 전이 가능한 3D 동역학을 학습하기 위한 사전학습 목표로서 3D 포인트 트랙 완성을 연구한다. 단일 RGB-D 관측과 희소한 부분 3D 궤적(트랙)이 주어졌을 때, 우리는 관측된 모든 점들의 미래 3D 트랙을 예측한다. 우리는 이 목표가 로봇 행동 레이블을 필요로 하지 않고도 풍부한 3D 동역학 사전 지식을 생성함을 보인다. 우리는 변형 가능한(deformable), 관절형(articulated), 그리고 견고한(rigid) 객체를 포괄하는 290만 개의 합성 프레임으로 구성된 다양한 데이터셋을 제공하며, 이를 사용해 PointZero를 학습시킨다. 우리는 유연하고 표현력이 풍부한 트랜스포머인 PointZero가 동일한 데이터에서 기존 방법들을 능가함을 보인다. 우리는 PointZero를 두 가지 다운스트림 응용, 즉 (1) 행동 조건화된 3D 동역학 예측과 (2) 모방 학습(imitation learning)을 위해 사후 학습함으로써 우리의 사전학습 목표의 유용성을 입증한다. 엔드이펙터(end-effector) 자세를 조건으로 하도록 파인튜닝되었을 때, PointZero는 최근의 PGND 3D 동역학 벤치마크에서 베이스라인들을 능가한다. 로봇 행동과 3D 트랙을 예측하도록 파인튜닝되었을 때, PointZero는 7개 중 6개의 시뮬레이션 및 실제 로봇 조작 과업에서 베이스라인들을 능가하거나 동등한 성능을 보인다. 우리는 또한 제안한 아키텍처의 이점과 제안한 사전학습 목표 및 데이터셋의 이점을 분리하기 위해 PointZero를 처음부터(from scratch) 학습시키는 실험도 평가한다. 우리는 데이터셋, 체크포인트, 그리고 전체 학습 레시피를 공개한다.

arXiv:2609.13984v2cs.RO공통 태그 Transfer Learning, Robot Manipulation

효율적인 VLA를 만드는 요소는 무엇인가? 액션 헤드 설계, 스케일링, 지연시간

What Makes an Efficient VLA? Navigating Action-Head Design, Scaling, and Latency

비전-언어-행동(VLA) 모델은 사전학습된 비전 인코더, 언어 백본, 액션 헤드를 결합하지만, 통제된 지연시간-쌍(latency-paired) 조건에서 각 구성 요소의 상대적 기여는 확립되지 않았다. 우리는 백본 계열(SigLIP2 및 Qwen2.5)과 학습 파이프라인을 고정하고, 액션 헤드 설계와 모듈 규모를 sweep하며, 각 구성을 측정된 온디바이스 지연시간과 짝짓는다. 연구는 세 가지 발견을 낳는다. 첫째, 액션 헤드 성능은 디코더 아키텍처, 손실, 또는 추론 예산보다 주로 초기화에 의해 좌우된다. 언어 백본의 마지막 트랜스포머 레이어를 헤드로 복사하는 것이 지연시간 비용 없이 단일 최대 레버이며, 모든 모듈 규모에서 도움이 되는 유일한 축이다. 정렬(alignment) 또한 다른 축들을 설명한다. flow matching과 더 무거운 디코더는 헤드가 정렬되지 않았을 때만 이득이 있고 정렬되면 역전되며, 추가 추론 패스는 측정 가능한 이득을 주지 않는다. 표현력(expressiveness)은 부족한 정렬을 대체하는 것으로 보인다. 우리는 이를 표현 전환(representation transfer)으로 해석한다. 정렬된 헤드는 지시문의 객체 명사에 계속 어텐션(attention)하고, 처음부터 행동을 재학습하기보다 가중치 공간에서 백본에 가깝게 유지된다. 정렬에 초기화를 통해서만 도달하기 때문에, 우리는 이를 입증된 원인이 아니라 측정값을 가장 잘 정리하는 설명으로 제시하고, 이를 확정할 통제 실험을 명명한다. 둘째, 용량(capacity)은 정렬 이후에만 효과가 있다. 정렬된 액션 헤드는 스케일링할 때 수익률이 가장 높은 모듈이다. 셋째, 그 수익은 오늘날 $\pi$-계열 VLA가 이미 사용하는 규모 근처에서 급격히 감소하므로, 더 키우는 것은 그 지연시간 대비 in-domain 정확도에서 거의 이득을 주지 않는다. 이를 바탕으로 EffVLA를 제안한다. EffVLA는 표준 LIBERO에서 최강 오픈소스 VLA와 맞먹는 소형 모델로, 더 낮은 지연시간으로 LIBERO-Plus 교란(perturbation) 축 대부분에서 선두이며, 레시피를 바꾸지 않고 실제 SO-ARM101 암에 전이된다.

arXiv:2609.27070v1cs.RO공통 태그 Transfer Learning, Robot Manipulation

가우시안이면 충분하다: 대규모 행동 모델(LBM) 미세조정에서 플로우 매칭 사전분포는 도움이 되지 않는다

The Gaussian Is Enough: Flow-Matching Priors Do Not Help When Fine-Tuning Large Behavior Models

현대 로봇 모방 학습은 확산(diffusion) 또는 플로우 매칭(flow-matching) 모델에 기반한 생성 정책에 점점 더 의존하며, 이러한 정책은 사전분포(prior distribution)에서 샘플을 변환하여 행동을 생성한다. 핵심 질문은 사전분포 선택이 중요한지 여부이다. 표준 가우시안을 목표에 더 가까운 비가우시안 사전분포로 대체하는 것은 처음부터 학습할 때 성능을 크게 향상시키는 것으로 보여 왔다. 자연스러운 다음 단계는 이러한 이득이 LBM 1.0, $\pi_{0.5}$, GR00T~N1.5와 같은 사전학습된 대규모 행동 모델(LBM)의 미세조정으로 이어지는지, 더 큰 이득이 기대될 수 있는 상황에서도 그런지 묻는 것이다. 놀랍게도 우리는 매우 낮은 미세조정 데이터 비율에서만 그럴 가능성이 있을 뿐, 그렇지 않다는 것을 발견했다. 두 시뮬레이션 플랫폼의 40개 이상 과제에서 앞서 언급한 세 LBM 전반에 걸친 10만 회 이상의 시뮬레이션 롤아웃, 그리고 양손 조작 다섯 과제에서 1250회의 하드웨어 롤아웃에 걸쳐, 목표에 demonstrably 더 가까운 비가우시안 사전분포는 표준 가우시안 사전분포보다 통계적으로 구별되지 않거나 더 나쁜 미세조정 성능을 낸다. 진단 분석은 그 이유를 시사한다. 미세조정된 모방 학습 정책은 사전분포마다 미세조정된 인코더 임베딩(embedding)이 사전학습 임베딩 및 서로 간에 크게 달라지는데도 불구하고, 유사한 행동 예측으로 수렴한다. 학습률 ablation은 또한 인코더 학습이 미세조정 성능의 지배적 요인이며 사전분포 선택의 효과를 크게 상회함을 확인한다. 우리는 미세조정에서 학습된 사전분포가 언제·왜 여전히 중요할 수 있는지에 대한 향후 연구의 구체적 방향으로 마무리한다. 프로젝트 페이지: https://cxu-tri.github.io/non_gaussian_FT/

arXiv:2609.22285v1cs.RO공통 태그 Transfer Learning, Robot Manipulation

ORDER: 도메인 적응형 체화 AI(Embodied AI)를 위한 허구 세계 벤치마크

ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI

연속 사전학습(continual pre-training)으로 언어 모델을 새 도메인에 적응시키면 근본적인 평가 문제가 생긴다. 학습 코퍼스가 모델이 이미 알고 있는 내용과 겹치면, 성능 향상을 새로운 학습이 아니라 기존 지식 탓으로 깔끔하게 구분할 수 없기 때문이다. 이는 지식 집약·과업 경량(knowledge-intensive, task-light, KHTL) 로봇 배치—의약품 조제, 유해 물질 취급, 시설별 규정 등—에서 특히 중요하다. 여기서 물리적 과업은 단순하지만 적용 규칙은 독점적이며 안전에 critical하고, 광범위한 현장 시험은 비용이 크거나 위험하다. 본 논문은 ORDER(Ontology-driven Decision-making for Embodied Reasoning)를 제안한다. ORDER는 허구 세계 위에 구축된 벤치마크로, 어떤 모델의 사전학습 데이터에도 등장할 수 없는 자기 일관적 물리를 정의하는 342,069토큰 규모의 합성 코퍼스를 바탕으로 한다. ORDER는 500문항 지식 시험(ORDER-BENCH)과 더 어려운 구성(compositional) 과업 ORDER-SPATIAL—익숙한 장면과 완전히 새로운 장면 모두에서 안전한 조작을 위한 객체 순서 정하기—to 짝지운다. 적응 없이 GPT-4.1은 ORDER-SPATIAL에서 우연 수준 이하(Kendall's tau = 0.441)를 기록하며, 선험(prior)이 발명된 물리와 적극적으로 충돌함을 보여준다. 연속 사전학습 이후 소형 모델은 익숙한 장면과 새로운 장면 모두에서 크게 향상되어, 암기가 아닌 진정한 세계 모델 유도(world-model induction)의 증거를 제공한다. 이어 로봇 파이프라인까지 확장한다. 지식 시험을 잘 통과하는 모델도 추가 스킬 적응(skill-adaptation) 단계 없이는 유효하고 실행 가능한 계획을 종종 만들지 못한다. 그 단계 이후 완전 오프라인 소형 모델은 GPT-4.1이 동일 규칙에 대한 검색(retrieval) 접근을 제공받는 경우에도 GPT-4.1을 능가한다(Kendall's tau = 0.848 대 0.606). 이는 human-in-the-loop 보정이 포함된 시뮬레이션 iiwa7 팔에서 지각부터 실행까지의 전체 루프로 시연된다. 전반적으로 실제 계획 품질을 예측하는 것은 지식 시험 정확도가 아니라 ORDER-SPATIAL 성능이다.

arXiv:2609.22332v1cs.RO공통 태그 Transfer Learning, Robot Manipulation

AffordanceWAM: 로봇 조작을 위한 어포던스 인식 세계-행동 공동 모델링

AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation

일반화 가능한 로봇 조작은 장면이 어떻게 변화할지 예측하고, 상호작용이 가능한 위치를 식별하며, 어떻게 행동할지 결정하는 것을 요구한다. 행동 라벨이 붙은 로봇 영상은 제어를 직접 감독하지만 비용이 크고 다양성이 제한적이며, 반면 1인칭(egocentric) 인간 영상은 다양한 상호작용을 포착하지만 로봇 행동이 없고 체형(embodiment)과 외형이 다르다. 본 논문은 AffordanceWAM을 제안한다. 이는 생성된 미래 World 내에서 Scalar Affordance와 Affordance Heatmap을 통해 객체 중심 시공간 어포던스를 표현하는 어포던스 인식 생성형 World Action Model이다. 이 표현은 시각 예측을 과제 관련 객체 및 상호작용 영역에 그라운딩(grounding)하여 행동 생성을 이끌고, 인간 영상과 로봇 영상 간 공유 상호작용 목표를 제공한다. 사전학습된 비디오 확산 트랜스포머 위에 구축된 AffordanceWAM은 Masked Joint Self-Attention으로 결합된 별도 파라미터화된 World Expert와 Action Expert를 사용하여, 통합 flow-matching 목적 하에서 미래 RGB 관측, Scalar Affordance 필드, Affordance Heatmap, 연속 로봇 행동을 공동으로 예측한다. 인간 영상은 세 가지 미래-World 스트림 모두를 감독하고, 로봇 궤적은 추가로 행동 감독을 제공하여, 인간 행동 라벨이나 리타게팅(retargeting) 없이 전이(transfer)를 가능하게 한다. RoboCasa, CALVIN ABC→D, 실세계 조작 실험에서 RGB만 사용하거나 로봇 데이터만 사용하는 기준선 대비 일관된 향상을 보인다. 고정된 로봇 감독 하에서 RoboCasa 성능은 어포던스 주석이 달린 인간 영상 규모가 커질수록 단조 증가한다. 이러한 결과는 어포던스가 비전-언어-행동(vision-language-action) 학습과 인간-로봇 전이 모두에 효과적인 인터페이스임을 뒷받침한다.

arXiv:2609.24385v1cs.RO공통 태그 Transfer Learning, Robot Manipulation

Tactile-JEPA: 분산 촉각 센서를 위한 위상 인식 자기지도 표현 학습

Tactile-JEPA: Topology-Aware Self-Supervised Representation Learning for Distributed Tactile Sensors

촉각 감지는 접촉이 많고 능숙한 조작, 특히 시각적 가림 상황에서 로봇이 수행하는 데 필수적인 양식이다. 로봇 학습 파이프라인에서는 사전학습된 이미지 인코더가 표준이지만, 촉각 인코더는 여전히 원시의 노이즈가 많은 신호로부터 처음부터 학습되는 경우가 많아 표현력이 제한될 수 있다. 기존 자기지도 학습(SSL) 접근법은 주로 비전 기반 촉각 센서에 초점을 맞추어 분산 전자 피부는 대체로 다루지 않았다. 그러나 이러한 센서는 감지 요소가 덮는 표면 위에 sparse하고 불규칙하게 배치된다는 독특한 특성을 가지며, 이로 인해 시각 SSL 방법을 그대로 재사용하기는 최적이 아니다. 본 논문은 촉각 센서의 공간 배치를 이용해 위상 인식 표현을 학습하는 효율적인 자기지도 사전학습 방법 Tactile-JEPA를 제안한다. 구체적으로, 공간 마스킹을 안내하기 위해 센서 연결 그래프를 사용하여 마스킹되지 않은 나머지로부터 마스킹된 감지 요소의 임베딩을 예측하도록 학습한다. 분석 결과, 효과적인 촉각 표현은 국소 접촉 세부와 촉각 표면의 전역 상태를 모두 포착해야 하며, 이를 이중 스케일 마스킹으로 달성한다. 자기 및 압저항 센서, 서로 다른 로봇 형태, 단일 및 쌍 센서 구성을 아우르는 세 가지 다양한 데이터셋에서 Tactile-JEPA는 기존 최신 방법 대비 힘 추정 오류를 6.3%, 손안 방향 오류를 20.8% 줄였으며, 정책 학습을 포함한 다른 하류 응용에서도 일관된 향상을 보였다. 종합하면, 촉각 감지의 이점은 인코더 사전학습의 품질에 크게 좌우되며, Tactile-JEPA가 이 문제를 직접 해결함을 보여준다. 코드는 https://github.com/E-Kovtun/tactile 에서 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.