arXiv:2606.19935v1 cs.AI

PhysDrift: 휴머노이드 음성 동반 모션 생성에서의 구현 격차 해소

PhysDrift: Bridging the Embodiment Gap in Humanoid Co-Speech Motion Generation

Zhangzhao Liang, Xiaofen Xing, Mingyue Yang, Wenlve Zhou, Xiangmin Xu

제출 2026-06-18

한국어 초록

휴머노이드 로봇은 표현력이 있고 음성과 정렬(speech-aligned)될 뿐만 아니라, 구현(embodiment) 제약 조건 하에서 물리적으로 실행 가능한 음성 동반(co-speech) 모션이 필요합니다. 기존의 음성 동반 생성 파이프라인은 주로 인간 중심적입니다: 모션은 먼저 SMPL-X와 같은 인간 신체 표현으로 생성된 후 휴머노이드 로봇으로 리타겟팅(retargeting)됩니다. 본 연구에서 우리는 이 패러다임에 존재하는 근본적인 구현(embodiment) 격차를 식별합니다. 여기서 인간 모션 매니폴드(motion manifold)와 휴머노이드 구현 제약 조건 간의 불일치는 모션 전달 및 물리적 실행 중 구현 일관성을 저해합니다. 광범위한 분석을 통해, 리타겟팅이 대략적인 모션 의미는 보존할 수 있지만 모션 다양성을 크게 압축하고 운율-모션 동기화(prosody-motion synchronization)를 약화시켜 표현적인 휴머노이드 동작을 제한함을 보여줍니다. 이 문제를 해결하기 위해 우리는 먼저 IK-EER를 제안합니다. 이는 운율 보존 휴머노이드 모션 정제(curation) 프레임워크로, 리타겟팅 중 운동학적 타당성과 음성-모션 시간적 정렬을 공동으로 최적화합니다. 정제된 로봇 고유(robot-native) 모션 데이터셋을 기반으로, 우리는 중간 인간 신체 표현에 의존하지 않고 음성에서 직접 실행 가능한 휴머노이드 관절 궤적을 예측하는 구현 인식(embodiment-aware) 음성 동반 모션 생성 프레임워크인 PhysDrift를 추가로 소개합니다. 기존의 인간 중심 파이프라인과 달리, PhysDrift는 로봇 모션 역학을 안정화하기 위해 물리적 정규화(physical regularization)를 통합하면서 학습(training) 및 추론(inference) 전반에 걸쳐 구현 일관성을 유지합니다. 광범위한 실험과 실제 휴머노이드 배포(deployment)를 통해 구현 인식 로봇 고유 생성이 음성-모션 정렬, 물리적 타당성, 모션 부드러움, 추론(inference) 효율성 및 실시간 상호작용 능력을 크게 향상시킴을 입증합니다.

원문 초록

Humanoid robots require co-speech motions that are not only expressive and speech-aligned, but also physically executable under embodiment constraints. Existing co-speech generation pipelines are predominantly human-centric: motions are first generated in human-body representations such as SMPL-X and subsequently retargeted to humanoid robots. In this work, we identify a fundamental embodiment gap in this paradigm, where the mismatch between human motion manifolds and humanoid embodiment constraints disrupts embodiment consistency during motion transfer and physical execution. Through extensive analysis, we show that although retargeting can preserve coarse motion semantics, it significantly compresses motion diversity and weakens prosody-motion synchronization, limiting expressive humanoid behaviors. To address this problem, we first propose IK-EER, a prosody-preserving humanoid motion curation framework that jointly optimizes kinematic feasibility and speech-motion temporal alignment during retargeting. Building upon the curated robot-native motion dataset, we further introduce PhysDrift, an embodiment-aware co-speech motion generation framework that directly predicts executable humanoid joint trajectories from speech without relying on intermediate human-body representations. Unlike conventional human-centric pipelines, PhysDrift maintains embodiment consistency throughout both training and inference while incorporating physical regularization to stabilize robot motion dynamics. Extensive experiments and real-world humanoid deployment demonstrate that embodiment-aware robot-native generation substantially improves speech-motion alignment, physical plausibility, motion smoothness, inference efficiency, and real-time interaction capability.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19935v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.