LUCID: 확장 가능한 정교한 로봇 기술 습득을 위한 비정형 인간 비디오에서의 본체 비종속 의도 모델 학습
LUCID: Learning Embodiment-Agnostic Intent Models from Unstructured Human Videos for Scalable Dexterous Robot Skill Acquisition
한국어 초록
오늘날 가장 널리 채택된 로봇 학습 파이프라인은 로봇 데모나 구조화된 인간 데이터에서 기술을 학습하는데, 이는 수집 비용이 비싸고 특정 본체(embodiment)에 종속됩니다. 이와 대조적으로, 비정형 인간 비디오는 확장 가능한 대안을 제공합니다. 이들은 객체, 장면 및 전략에 걸쳐 다양한 조작 시연을 포함하지만, 로봇 행동과는 직접 연결되지 않습니다. 우리는 인터넷 규모 데이터셋에서 추출한 비정형 인간 비디오에서 작업 의도를 학습하고 대규모 병렬 시뮬레이션에서 로봇 제어를 학습하는 2단계 프레임워크인 LUCID를 제안합니다. 의도 모델은 폐루프(closed loop) 내에서 현재 관찰로부터 단기 의도(장면에서 다음에 발생해야 할 일)를 예측합니다. 본체 특화(embodiment-specific) 감각운동 정책(sensorimotor policy)이 이 의도를 로봇 행동으로 변환합니다. 의도 인터페이스는 컨트롤러 간에 공유되므로, 동일한 의도 모델을 주력 정교한 손(dexterous hand)부터 평행 턱 그리퍼(parallel-jaw gripper)에 이르기까지 다양한 본체에 적용할 수 있습니다. 우리는 5가지 실제 조작 작업에서 LUCID를 평가했습니다: 인터넷 비디오로만 학습되어 새로운 장면과 객체 인스턴스로의 제로샷(zero-shot) 전이를 수행한 젓기, 닦기, 빈담기(binning); 그리고 각각 1시간 분량의 직접 수집한 스마트폰 비디오로 학습된 Push-T 및 케이블 배선(cable routing). 프로젝트 페이지: https://lucid-robot.github.io/.
원문 초록
The most widely-adopted robot learning pipelines today learn skills from robot demonstrations or structured human data, which are expensive to collect and tied to specific embodiments. In contrast, unstructured human videos provide a scalable alternative. They contain diverse manipulation demonstrations across objects, scenes, and strategies, but are not directly connected to robot action. We propose LUCID, a two-stage framework that learns task intent from unstructured human videos drawn from internet-scale datasets and learns robot control in massively-parallel simulation. The intent model predicts short-horizon intent (what should happen next in the scene) from the current observation in closed loop. An embodiment-specific sensorimotor policy converts this intent into robot actions. The intent interface is shared across controllers, so the same intent model can be applied to different embodiments, from our primary dexterous hand to a parallel-jaw gripper. We evaluate LUCID on five real-world manipulation tasks: stirring, wiping, and binning supervised by only internet video, with zero-shot transfer to novel scenes and object instances; and push-T and cable routing supervised by 1 hr each of self-collected smartphone video. Project page: https://lucid-robot.github.io/.
요약
비정형 인간 비디오에서 작업 의도(intent)를 학습하고 이를 로봇 제어로 변환하는 LUCID 프레임워크를 제안하여, 특정 로봇 본체(embodiment)에 종속되지 않고 확장 가능한 정교한 로봇 기술 습득을 가능하게 한다. 이 방법은 인터넷 비디오로만 학습된 작업에서 새로운 장면과 객체로의 제로샷(zero-shot) 전이를 달성하고 다양한 실제 조작 작업에서 성능을 입증했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11628v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CSWAM: 월드 액션 모델에서의 분포 외 일반화를 위한 더 나은 인과적 의미 표현
CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models
FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다. 이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다. 우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.
UniCross: 통합 교차 스킬 정밀 조작 합성
UniCross: Unified Cross-Skill Dexterous Manipulation Synthesis
SoTa: 정교한 조작을 위한 소프트 촉각 스킨
SoTa: Soft Tactile Skins for Dexterous Manipulation
점점 더 많은 연구들이, 촉각 센싱(tactile sensing)이 정교한 조작(dexterous manipulation)에서 비전(vision)을 보완하는 접촉 정보를 로봇 정책(policy)에 제공한다는 것을 시사하고 있다. 그러나 시각-촉각(visuo-tactile) 로봇 데이터는 여전히 부족하다: 정교한 시연(demonstration)은 로봇을 원격 조작(teleoperation)해야 하므로 데이터셋 규모가 제한된다. 인간의 시연은 수집 비용이 훨씬 저렴하여 이러한 데이터를 확장할 수 있는 방법을 제공하지만, 이는 인간과 로봇의 손이 서로 대응하는 신호를 갖는 촉각 센서를 장착하고 있을 때만 가능하다. 이를 위해서는 서로 다른 손 형태(geometry)에 맞게 변형되고, 손 전체를 덮으며, 신체(embodiment) 간에 공통된 배치(layout)를 공유하는 센서가 필요하다. 우리는 SoTa를 제시한다. 이는 저비용 정전식(capacitive) 촉각 스킨으로, 인간과 로봇 모두에서 손 전체를 덮으면서도 대응하는 손가락 및 손바닥 영역에 걸쳐 202개의 택셀(taxel)로 구성된 공유 배치를 유지한다. 직물 전극(fabric electrode)을 사용한 다층 설계(multilayer design)를 통해, 스킨 한 장당 10달러 미만의 재료비로 맞춤형 형태의 얇고 부드러운 스킨을 자체 제작(in-house fabrication)할 수 있다. 이 센서는 10,000회의 하중-제거(loading-unloading) 사이클 후에도 초기 응답 범위(response span)의 97% 이상을 유지하며, 배선(trace)은 1,280회의 꽉 쥔 주먹(tight-fist) 접힘 사이클 동안 연속성을 유지한다. 공유된 택셀 배치는 공통의 촉각 인코더(tactile encoder)를 사용하여 학습된 센서 간 매핑(cross-sensor mapping) 없이도 인간-로봇 공동 학습(co-training)을 지원한다. 접촉이 많은(contact-rich) 세 가지 조작 과제에서, 촉각 관측(observation)은 비전만 사용하는 정책보다 분포 내(in-distribution) 성공률을 향상시킨다. 고정된 로봇 시연 예산 하에서, 인간 시연을 추가하면 8개의 평가 조건에 걸친 평균 성공률이 22.8%에서 45.9%로 두 배 이상 향상되며, 5개의 분포 외(out-of-distribution) 조건 모두에서 성공률이 개선된다. 우리는 이 스킨을 제작하고 운용하는 데 필요한 자료를 오픈소스로 공개할 계획이다.
PointWAM: 정밀한 로봇 조작을 위한 3D 월드 액션 모델링
PointWAM: 3D World Action Modeling for Dexterous Robotic Manipulation
월드 액션 모델(World action model)은 학습된 내부 월드 다이내믹스가 정확한 동작을 유도할 수 있도록, 월드 다이내믹스 예측과 로봇 액션 예측을 함께 학습합니다. 기존 접근 방식들은 일반적으로 월드를 RGB 프레임이나 그에 대응하는 잠재 표현(latent)으로 나타내면서 액션을 엔드이펙터 포즈 또는 관절 각도로 예측하지만, 정밀한 조작(dexterous manipulation)의 핵심인 3D 공간 구조 및 접촉 기하학을 포착하는 데 어려움을 겪는 경우가 많습니다. 본 논문에서는 월드를 장면(즉, 환경)과 손(즉, 행위자)으로 분해하고, 공유된 시공간 좌표계 내에서 두 요소를 3D 포인트 궤적으로 함께 예측하는 3D 월드 액션 모델인 Point World Action Model(PointWAM)을 소개합니다. 이러한 명시적이고 분리된(disentangled) 표현은 작업별 객체나 키포인트를 선택할 필요 없이 대규모 인간 시연 비디오에 대한 효과적인 사전학습을 가능하게 합니다. 컬러 포인트 클라우드와 언어 지시가 주어지면, PointWAM은 시간에 따라 장면과 손이 3D 공간에서 어떻게 함께 변화하는지 예측한 후, 예측된 손 움직임을 로봇 액션으로 리타기팅(retargeting)합니다. 인간 비디오에 대한 사전학습은 DexJoCo 평균 성공률을 56.9% 포인트 향상시키며, 장면 궤적에 대한 지도(supervision)는 손만 단독으로 예측하는 것보다 10.9% 포인트를 더 개선합니다. 두 가지를 모두 적용했을 때, PointWAM은 10개의 DexJoCo 작업에서 기존 최고 수준(SOTA) 성능을 11.7% 포인트 앞서며 실제 로봇에서도 강력한 VLA 모델들을 능가합니다.
DexPolicy: 궤적 유도 기반 정밀 조작을 위한 스케줄링된 탐험
DexPolicy: Scheduled Exploration for Trajectory-Guided Dexterous Manipulation
정밀 조작(dexterous manipulation)을 위한 강화학습(RL)은 손가락과 물체 간의 접촉을 찾아낸 다음 물체를 정밀하게 제어해야 하지만, 첫 번째 목표에 기여하는 행동 노이즈(action noise)가 두 번째 목표를 방해할 수 있습니다. 강화학습이 사람의 영상으로부터 손-물체 궤적을 정제하는 ViViDex와 같은 궤적 유도(trajectory-guided) 환경에서, 기준선(baseline) PPO 실행은 500만 스텝 후에도 초기 행동 노이즈 근처에서 종료되므로 탐험(exploration) 스케일을 명시적으로 제어할 필요성이 제기됩니다. DexPolicy는 손실(loss), 아키텍처, 보상(reward), 옵티마이저(optimizer) 설정을 고정한 채로, 탐험 스케일을 학습(training) 스텝의 명시적 함수로 만들어 넓은 탐험에서 좁은 탐험으로 점진적으로 감소(annealing)시킵니다. 본 연구에서는 세 가지 정책 최적화 설정을 다룹니다: PPO, 크리틱이 없는 GRPO 지속(continuation), 그리고 플로우 매개변수화 PPO 변형(FPO). 5개의 YCB 물체와 3개의 학습 시드에 걸쳐, 평균 결정론적 Target 성공률은 각각 49.4%에서 68.1%(FPO), 14.1%에서 45.4%(GRPO), 32.0%에서 35.7%(PPO)로 상승합니다. Inspire/RH56 손이 장착된 RealMan RM75 로봇 팔에서 물체-방법 조건당 하나의 학습된 모델(model)을 사용하여 3개의 물체에 대해 360회 시험한 결과, 평균 Target 성공률이 25.0%에서 85.0%(FPO), 10.0%에서 63.3%(GRPO), 8.3%에서 43.3%(PPO)로 향상되었습니다. PPO 구성 요소 스크리닝에서는 테스트된 옵티마이저 수축보다 노이즈 제어가 더 우세한 것으로 나타났으며, 선택된 PPO 스케줄은 세 가지 테스트 대상 물체에서 동일한 종단을 가진 선형 감쇠보다 더 높은 평균 Target 성공률을 산출합니다. 학습 리턴(return), 결정론적 Target 성공률, 실행 노이즈에 대한 허용 오차는 서로 분리되므로, 스케줄은 과제 및 정책 최적화 설정에 따라 의도된 실행 조건 하에서의 최종 과제 성공률로 평가되어야 합니다. 코드: https://github.com/AIGeeksGroup/DexPolicy. 웹사이트: https://aigeeksgroup.github.io/DexPolicy.
AffordanceWAM: 로봇 조작을 위한 어포던스 인식 세계-행동 공동 모델링
AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation
일반화 가능한 로봇 조작은 장면이 어떻게 변화할지 예측하고, 상호작용이 가능한 위치를 식별하며, 어떻게 행동할지 결정하는 것을 요구한다. 행동 라벨이 붙은 로봇 영상은 제어를 직접 감독하지만 비용이 크고 다양성이 제한적이며, 반면 1인칭(egocentric) 인간 영상은 다양한 상호작용을 포착하지만 로봇 행동이 없고 체형(embodiment)과 외형이 다르다. 본 논문은 AffordanceWAM을 제안한다. 이는 생성된 미래 World 내에서 Scalar Affordance와 Affordance Heatmap을 통해 객체 중심 시공간 어포던스를 표현하는 어포던스 인식 생성형 World Action Model이다. 이 표현은 시각 예측을 과제 관련 객체 및 상호작용 영역에 그라운딩(grounding)하여 행동 생성을 이끌고, 인간 영상과 로봇 영상 간 공유 상호작용 목표를 제공한다. 사전학습된 비디오 확산 트랜스포머 위에 구축된 AffordanceWAM은 Masked Joint Self-Attention으로 결합된 별도 파라미터화된 World Expert와 Action Expert를 사용하여, 통합 flow-matching 목적 하에서 미래 RGB 관측, Scalar Affordance 필드, Affordance Heatmap, 연속 로봇 행동을 공동으로 예측한다. 인간 영상은 세 가지 미래-World 스트림 모두를 감독하고, 로봇 궤적은 추가로 행동 감독을 제공하여, 인간 행동 라벨이나 리타게팅(retargeting) 없이 전이(transfer)를 가능하게 한다. RoboCasa, CALVIN ABC→D, 실세계 조작 실험에서 RGB만 사용하거나 로봇 데이터만 사용하는 기준선 대비 일관된 향상을 보인다. 고정된 로봇 감독 하에서 RoboCasa 성능은 어포던스 주석이 달린 인간 영상 규모가 커질수록 단조 증가한다. 이러한 결과는 어포던스가 비전-언어-행동(vision-language-action) 학습과 인간-로봇 전이 모두에 효과적인 인터페이스임을 뒷받침한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.