Movement Primitive Diffusion: Learning Gentle Robotic Manipulation of Deformable Objects
원문 초록
Policy learning in robot-assisted surgery (RAS) lacks data efficient and versatile methods that exhibit the desired motion quality for delicate surgical interventions. To this end, we introduce Movement Primitive Diffusion (MPD), a novel method for imitation learning (IL) in RAS that focuses on gentle manipulation of deformable objects. The approach combines the versatility of diffusion-based imitation learning (DIL) with the high-quality motion generation capabilities of Probabilistic Dynamic Movement Primitives (ProDMPs). This combination enables MPD to achieve gentle manipulation of deformable objects, while maintaining data efficiency critical for RAS applications where demonstration data is scarce. We evaluate MPD across various simulated and real world robotic tasks on both state and image observations. MPD outperforms state-of-the-art DIL methods in success rate, motion quality, and data efficiency. Project page: https://scheiklp.github.io/movement-primitive-diffusion/
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
월드 모션 모델: SE(3) 궤적의 유연한 시퀀스 모델링
World Motion Models: Flexible Sequence Modeling of SE(3) Trajectories
인공 에이전트(agent)에게 공간 지능을 부여하려면 동적 3D 세계에 대한 포괄적인 생성형 사전 확률(generative prior)이 필요합니다. 본 논문에서는 희소한 SE(3) 포즈 궤적을 통해 시간에 걸쳐 "무엇이 어디에 있었고, 현재 어디에 있으며, 앞으로 어디에 있을 것인가"를 포착하는 월드 모션 모델(World Motion Models, WMM)을 제안합니다. WMM은 동적 장면의 요소들이 4D 모델링을 위한 최소한이면서도 표현력이 뛰어난 프리미티브인 강체 SE(3) 궤적 집합으로 잘 근사될 수 있다는 관찰에 기반합니다. 이러한 표현은 다관절 객체, 인체, 손-객체 상호작용, 구분적 강체(piecewise-rigid) 장면 역학, 카메라 움직임, 나아가 로봇 상태와 행동까지 단일 공유 공간으로 통합합니다. 이 표현을 바탕으로 저자들은 토큰별 노이즈 레벨을 적용한 플로우 매칭(flow-matching)을 활용하여 이러한 엔티티들의 결합 분포를 유연한 시퀀스 모델링 문제로 정식화합니다. 비순차적 조건화를 위한 컨텍스트 토큰 메커니즘과 결합된 이 정식화는 임의의 수의 엔티티와 타임스텝에 걸쳐 임의 대 임의(any-to-any) 주변 조건화를 지원합니다. 미래 예측, 모션 인필링(motion infilling), 모델 예측 제어(MPC), 역기구학(IK), 교차 임바디먼트 리타기팅(cross-embodiment retargeting), 정책 학습과 같은 태스크들은 모두 동일한 네트워크 위에 서로 다른 마스크를 적용하는 문제로 귀결됩니다. 3D 비전 및 로보틱스의 6가지 다양한 응용 분야에 대한 실험은 WMM의 다재다능함과 유연성, 그리고 뛰어난 성능을 입증합니다.
HIGenNTO: 노이즈 공간 궤적 최적화를 통한 확장 가능한 휴머노이드 상호작용 생성
HIGenNTO: Scalable Humanoid Interaction Generation via Noise-Space Trajectory Optimization
휴머노이드 로봇은 운동학적 휴머노이드 동작 참조를 모방하여 복잡한 기술을 습득할 수 있지만, 접촉이 많은 상호작용에 대한 신뢰할 수 있는 참조를 얻기는 여전히 어렵다. 모션 캡처는 가림(occlusion)과 밀접한 물리적 접촉 하에서 품질이 저하되며, 리타게팅(retargeting)은 추가적인 접촉 및 기하학적 불일치를 초래한다. 우리는 희소 시공간 및 장면 제약 하에서 사전학습된 텍스트 조건 동작 모델의 초기 노이즈를 최적화하여 휴머노이드-장면 상호작용 동작 참조를 합성하는 프레임워크 HIGenNTO를 제안한다. 동일한 공식화는 원하는 접촉을 만족하고, 충돌을 피하며, 안정적인 지지를 유지하면서 사전(prior)의 현실성과 시간적 일관성을 보존하고, 처음부터 상호작용 동작을 생성하며 장기 행동을 단계별로 구성한다. 로봇-환경 및 로봇-객체 과제 전반에서 HIGenNTO는 시뮬레이션에서 추적 정책(tracking policy)으로 실행 가능한 동작을 생성하며, 온보드 센싱만으로 동작하는 깊이 조건 시각-운동(visuomotor) 정책 학습에 사용할 수 있다. 우리는 네 가지 접촉이 많은 과제에서 Unitree G1에 이러한 정책을 배포한다. 마지막으로, 과제 명세 자체를 코딩 에이전트가 작성할 수 있으며, 이 에이전트는 상호작용 과제를 제안하고 이를 프롬프트, 제약, 및 장면 프로그램으로 컴파일하여 평가한 8개 과제 중 3개와 추가 4개 행동을 작성했다. 종합하면, 이러한 결과는 고수준 과제 기술에서 물리적으로 실행 가능한 휴머노이드 상호작용까지의 확장 가능한 경로를 제시한다.
인간 유사 에이전트를 위한 생성형 체화 다중 행동 통제 시스템
Generative Embodied Multiple Behavior Control Systems for Human-like Agents
인지 신경과학에서 오랫동안 정교하게 논의되어 온 이분법은 습관적(habitual) 행동과 목표 지향적(goal-directed) 행동으로 나뉘는 인간 행동 통제 메커니즘이다. 기존 인간 유사 에이전트 프레임워크는 주로 목표 지향적 행동 모델링에 초점을 맞추었으며, 인간 일상에서 핵심적인 역할을 하는 습관적 행동은 대체로 간과되어 왔다. 본 논문에서는 목표 지향적 행동과 습관적 행동을 공동으로 모델링하는 다중 행동 통제 시스템을 연구하여 이 공백을 해소한다. 우리는 인간 행동 통제 메커니즘에서 영감을 받은 프레임워크를 제안한다. Habitual Controller는 개인화된 습관 메모리에서 단서에 의해 촉발된 행동을 검색하고, Goal-directed Controller는 문맥 인식(context-aware) 월드 모델(world model)을 사용하여 행동 결과를 예측하고 그 가치를 추정한다. Arbiter는 개인차와 순간적인 내부 상태에 따라 두 시스템의 영향을 동적으로 균형 잡는다. 3D 환경에서 다양한 인간 수준 행동 지시를 재구성하기 위해 keyframe-guided 3D 모션 생성 모듈을 추가로 개발한다. 광범위한 평가 방법, 인간 연구, ablation 연구를 통해 실험 결과는 우리 접근법이 인간 유사성(human-likeness) 성능을 유의미하게 향상시킴을 보여준다. 우리 접근법의 효과는 믿을 만한(believable) 체화형 인간 유사 에이전트를 위해 습관적 행동과 다중 행동 통제 시스템의 조율을 활용하는 것의 이점을 시사한다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
인간 시연으로부터의 접촉 렌치 안내를 이용한 능숙한 조작 학습
Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration
능숙한 로봇 조작은 풍부한 인간 시연으로부터 이점을 얻을 수 있으나, 이러한 시연을 로봇 정책으로 전이하는 것은 여전히 어렵다. 본 논문은 강화학습을 이용한 강체 및 관절 물체의 장기 조작을 위한 프레임워크인 인간 시연 기반 로봇 능숙 조작의 접촉 렌치 안내(Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation, CHORD)를 제시한다. 핵심 아이디어는 객체 중심 접촉 렌치 공간 안내이다. 인간과 로봇의 동작을 물체에 가할 수 있는 힘과 토크로 표현하여, 유발되는 순간 운동으로 유사도를 측정할 수 있게 한다. 이 안내는 접촉이 많은 능숙한 조작에서 강화학습을 더 확장 가능하게 만든다. 또한 모션 캡처 데이터셋과 자체 촬영 영상을 복원하여 구성한, 4,739개의 양손 능숙 조작 과제로 이루어진 대규모 시뮬레이션 벤치마크를 소개한다. 1,831개의 벤치마크 과제에서 평가한 결과 CHORD는 평균 성공률 82.12%를 달성하여 강한 확장성을 보였다. CHORD는 또한 손만 있는 시연과 3인칭 시연으로부터 전신 조작으로 일반화하여 90.77%의 성공률을 달성하며, 학습된 정책은 개루프 및 폐루프 설정 모두에서 실제 세계로 전이된다.
연속적이고 일관된 로봇 행동 생성을 위한 주파수 인식 플로우 매칭
Frequency-Aware Flow Matching for Continuous and Consistent Robotic Action Generation
플로 매칭은 복잡한 다중 모달 행동 분포를 모델링하는 강력한 표현력 덕분에 확산 정책과 같은 유사한 접근법과 함께 로봇 조작의 표준 패러다임으로 부상하였다. 그러나 기존 방법은 이산화된 행동 청크에 의존하므로, 이질적인 제어 주파수로 수집된 시연에 취약하고 제어 안정성을 저하시키는 시간적으로 일관되지 않은 행동이 발생하기 쉽다. 본 논문에서는 연속적이고 시간적으로 일관된 행동을 출력하는 주파수 인지 플로 매칭(Frequency-Aware Flow Matching, FAFM)을 제안한다. 이질적인 주파수 입력을 처리하기 위해 이산 행동 시퀀스를 이산 코사인 변환(DCT)으로 주파수 영역으로 변환하고, 그 결과 계수에 대해 플로 매칭을 수행하며, 코사인 기저 전개를 통해 연속 행동을 복원한다. 시간적으로 일관된 행동을 생성하기 위해 1차 시간 도함수를 정규화하여 부드러운 행동을 촉진한다. 이는 고주파 오차를 억제하고 급작스러운 행동 변화를 억제하는 소볼레프 유형의 제약에 해당한다. FAFM은 단순하고 추가적인 네트워크 파라미터를 도입하지 않으며, 독립형 플로 매칭 정책과 비전-언어-행동 모델 모두에 적용된다. 합성 토이 벤치마크, 장애물 회피, LapGym, LIBERO 전반에서 FAFM은 성공률, 다중 모달 표현력, 동작 부드러움, 수렴 속도, 기계적 편향 및 혼합 주파수 입력에 대한 강건성을 향상시킨다. 이러한 이득은 실제 Franka 로봇에 배포했을 때도 일관되게 나타난다. 코드는 https://github.com/gakakulicc/FAFM 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.