PhysDrift: 휴머노이드 음성 동반 모션 생성에서의 구현 격차 해소
PhysDrift: Bridging the Embodiment Gap in Humanoid Co-Speech Motion Generation
한국어 초록
휴머노이드 로봇은 표현력이 있고 음성과 정렬(speech-aligned)될 뿐만 아니라, 구현(embodiment) 제약 조건 하에서 물리적으로 실행 가능한 음성 동반(co-speech) 모션이 필요합니다. 기존의 음성 동반 생성 파이프라인은 주로 인간 중심적입니다: 모션은 먼저 SMPL-X와 같은 인간 신체 표현으로 생성된 후 휴머노이드 로봇으로 리타겟팅(retargeting)됩니다. 본 연구에서 우리는 이 패러다임에 존재하는 근본적인 구현(embodiment) 격차를 식별합니다. 여기서 인간 모션 매니폴드(motion manifold)와 휴머노이드 구현 제약 조건 간의 불일치는 모션 전달 및 물리적 실행 중 구현 일관성을 저해합니다. 광범위한 분석을 통해, 리타겟팅이 대략적인 모션 의미는 보존할 수 있지만 모션 다양성을 크게 압축하고 운율-모션 동기화(prosody-motion synchronization)를 약화시켜 표현적인 휴머노이드 동작을 제한함을 보여줍니다. 이 문제를 해결하기 위해 우리는 먼저 IK-EER를 제안합니다. 이는 운율 보존 휴머노이드 모션 정제(curation) 프레임워크로, 리타겟팅 중 운동학적 타당성과 음성-모션 시간적 정렬을 공동으로 최적화합니다. 정제된 로봇 고유(robot-native) 모션 데이터셋을 기반으로, 우리는 중간 인간 신체 표현에 의존하지 않고 음성에서 직접 실행 가능한 휴머노이드 관절 궤적을 예측하는 구현 인식(embodiment-aware) 음성 동반 모션 생성 프레임워크인 PhysDrift를 추가로 소개합니다. 기존의 인간 중심 파이프라인과 달리, PhysDrift는 로봇 모션 역학을 안정화하기 위해 물리적 정규화(physical regularization)를 통합하면서 학습(training) 및 추론(inference) 전반에 걸쳐 구현 일관성을 유지합니다. 광범위한 실험과 실제 휴머노이드 배포(deployment)를 통해 구현 인식 로봇 고유 생성이 음성-모션 정렬, 물리적 타당성, 모션 부드러움, 추론(inference) 효율성 및 실시간 상호작용 능력을 크게 향상시킴을 입증합니다.
원문 초록
Humanoid robots require co-speech motions that are not only expressive and speech-aligned, but also physically executable under embodiment constraints. Existing co-speech generation pipelines are predominantly human-centric: motions are first generated in human-body representations such as SMPL-X and subsequently retargeted to humanoid robots. In this work, we identify a fundamental embodiment gap in this paradigm, where the mismatch between human motion manifolds and humanoid embodiment constraints disrupts embodiment consistency during motion transfer and physical execution. Through extensive analysis, we show that although retargeting can preserve coarse motion semantics, it significantly compresses motion diversity and weakens prosody-motion synchronization, limiting expressive humanoid behaviors. To address this problem, we first propose IK-EER, a prosody-preserving humanoid motion curation framework that jointly optimizes kinematic feasibility and speech-motion temporal alignment during retargeting. Building upon the curated robot-native motion dataset, we further introduce PhysDrift, an embodiment-aware co-speech motion generation framework that directly predicts executable humanoid joint trajectories from speech without relying on intermediate human-body representations. Unlike conventional human-centric pipelines, PhysDrift maintains embodiment consistency throughout both training and inference while incorporating physical regularization to stabilize robot motion dynamics. Extensive experiments and real-world humanoid deployment demonstrate that embodiment-aware robot-native generation substantially improves speech-motion alignment, physical plausibility, motion smoothness, inference efficiency, and real-time interaction capability.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19935v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Human-Humanoid Robots Cross-Embodiment Behavior-Skill Transfer Using Decomposed Adversarial Learning from Demonstration
Skinned Motion Retargeting with Dense Geometric Interaction Perception
STAR: Skeleton-aware Text-based 4D Avatar Generation with In-Network Motion Retargeting
Semantics2Hands: Transferring Hand Motion Semantics between Avatars
Versatile Face Animator: Driving Arbitrary 3D Facial Avatar in RGBD Space
Pose-aware Attention Network for Flexible Motion Retargeting by Body Part
토론
이 논문과 연결된 포럼 글이 아직 없습니다.