PhysMoDPO: 선호도 최적화를 통한 물리적으로 타당한 휴머노이드 모션 생성
PhysMoDPO: Physically-Plausible Humanoid Motion with Preference Optimization
한국어 초록
텍스트 조건부 인간 모션 생성 분야의 최근 발전은 대규모 인간 모션 데이터로 학습된 확산 모델(diffusion model)에 의해 크게 주도되었습니다. 이러한 발전에 힘입어, 최근 연구들은 확산 모델로 생성된 모션을 실행 가능한 궤적으로 변환하는 전신 제어기(WBC, Whole-Body Controller)를 적용하여 캐릭터 애니메이션 및 실제 로봇 제어로 전이하고자 시도하고 있습니다. WBC가 생성한 궤적은 물리 법칙을 준수하게 되지만, 원래 모션과 상당한 편차를 보일 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 직접 선호 최적화 프레임워크인 PhysMoDPO를 제안합니다. 발 미끄러짐 패널티와 같은 수작업 기반의 물리 인지 휴리스틱에 의존하던 기존 연구와 달리, 우리는 WBC를 학습 파이프라인에 통합하고 WBC의 출력이 물리 법칙과 원래의 텍스트 지시사항을 모두 준수하도록 확산 모델을 최적화합니다. PhysMoDPO를 학습시키기 위해 물리 기반 및 작업별 보상을 배포하고, 이를 활용해 합성된 궤적에 선호도를 부여합니다. 텍스트-투-모션 및 공간 제어 작업에 대한 광범위한 실험을 통해, PhysMoDPO가 시뮬레이션 환경의 로봇에서 물리적 사실성과 작업 관련 지표 모두에서 일관된 성능 향상을 보임을 입증합니다. 나아가 PhysMoDPO가 시뮬레이션 내 제로샷(zero-shot) 모션 전이와 실제 G1 휴머노이드 로봇 배포에 적용되었을 때 상당한 개선을 가져옴을 입증합니다.
원문 초록
Recent progress in text-conditioned human motion generation has been largely driven by diffusion models trained on large-scale human motion data. Building on this progress, recent methods attempt to transfer such models for character animation and real robot control by applying a Whole-Body Controller (WBC) that converts diffusion-generated motions into executable trajectories. While WBC trajectories become compliant with physics, they may expose substantial deviations from original motion. To address this issue, we here propose PhysMoDPO, a Direct Preference Optimization framework. Unlike prior work that relies on hand-crafted physics-aware heuristics such as foot-sliding penalties, we integrate WBC into our training pipeline and optimize diffusion model such that the output of WBC becomes compliant both with physics and original text instructions. To train PhysMoDPO we deploy physics-based and task-specific rewards and use them to assign preference to synthesized trajectories. Our extensive experiments on text-to-motion and spatial control tasks demonstrate consistent improvements of PhysMoDPO in both physical realism and task-related metrics on simulated robots. Moreover, we demonstrate that PhysMoDPO results in significant improvements when applied to zero-shot motion transfer in simulation and for real-world deployment on a G1 humanoid robot.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동적 휴머노이드 전신 제어를 위한 의미 기반 오디오 주도 이해
Semantic Audio-driven Understanding for Dynamic Humanoid Whole Body Control
최근 휴머노이드 로보틱스와 강화학습의 발전으로 고도로 표현력 있는 전신 운동 정책을 획득할 수 있게 되었다. 그러나 대부분의 로봇 공연은 여전히 사전 스크립트된 시퀀스 또는 외부로 트리거되는 행동에 기반하여, 동적 환경에 대한 자율성과 반응성을 제한한다. 본 연구에서는 의미 기반 오디오 주도 휴머노이드 제어를 위한 새로운 다중 모달 오케스트레이션 프레임워크를 제안하여, 로봇이 실시간으로 적절한 운동 스킬을 자율적으로 선택하고 실행할 수 있게 한다. 이 시스템은 연속적인 오디오 스트림을 처리하여 음악 또는 음성 분기로 라우팅한다. 음악 입력은 오디오 핑거프린팅과 의미 임베딩을 통해 트랙 식별과 시간적 정렬을 검색하며, 음악 구간과 운동 정책 간의 동적 매핑을 가능하게 한다. 음성 입력은 모방 학습으로 학습된 스킬의 이산 라이브러리에 그라운딩되어 직접적인 인간-로봇 상호작용을 가능하게 한다. 두 모달리티는 강화학습 제어 파이프라인 위에서 스킬 실행을 스케줄링하는 통합 인터페이스를 공유한다. 우리는 시뮬레이션과 Unitree G1 휴머노이드에서 이 접근법을 검증하여, 견고한 sim-to-real 전이와 일관된 오디오 조건화 정책 선택을 보여준다. 보충 자료는 다음 사이트에서 확인할 수 있다: https://lab-rococo-sapienza.github.io/semantic-WBC/
Adaptive Reparametrized Time for Score-Based Diffusion Sampling
시나리오 기반 모델 예측 제어의 학습 기반 가속
Learning-enabled Acceleration of Scenario-based Model Predictive Control
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page: https://mael-zys.github.io/PhysMoDPO/