PhysDrift: 휴머노이드 음성 동반 모션 생성에서의 구현 격차 해소
PhysDrift: Bridging the Embodiment Gap in Humanoid Co-Speech Motion Generation
휴머노이드 로봇은 표현력이 있고 음성과 정렬(speech-aligned)될 뿐만 아니라, 구현(embodiment) 제약 조건 하에서 물리적으로 실행 가능한 음성 동반(co-speech) 모션이 필요합니다. 기존의 음성 동반 생성 파이프라인은 주로 인간 중심적입니다: 모션은 먼저 SMPL-X와 같은 인간 신체 표현으로 생성된 후 휴머노이드 로봇으로 리타겟팅(retargeting)됩니다. 본 연구에서 우리는 이 패러다임에 존재하는 근본적인 구현(embodiment) 격차를 식별합니다. 여기서 인간 모션 매니폴드(motion manifold)와 휴머노이드 구현 제약 조건 간의 불일치는 모션 전달 및 물리적 실행 중 구현 일관성을 저해합니다. 광범위한 분석을 통해, 리타겟팅이 대략적인 모션 의미는 보존할 수 있지만 모션 다양성을 크게 압축하고 운율-모션 동기화(prosody-motion synchronization)를 약화시켜 표현적인 휴머노이드 동작을 제한함을 보여줍니다. 이 문제를 해결하기 위해 우리는 먼저 IK-EER를 제안합니다. 이는 운율 보존 휴머노이드 모션 정제(curation) 프레임워크로, 리타겟팅 중 운동학적 타당성과 음성-모션 시간적 정렬을 공동으로 최적화합니다. 정제된 로봇 고유(robot-native) 모션 데이터셋을 기반으로, 우리는 중간 인간 신체 표현에 의존하지 않고 음성에서 직접 실행 가능한 휴머노이드 관절 궤적을 예측하는 구현 인식(embodiment-aware) 음성 동반 모션 생성 프레임워크인 PhysDrift를 추가로 소개합니다. 기존의 인간 중심 파이프라인과 달리, PhysDrift는 로봇 모션 역학을 안정화하기 위해 물리적 정규화(physical regularization)를 통합하면서 학습(training) 및 추론(inference) 전반에 걸쳐 구현 일관성을 유지합니다. 광범위한 실험과 실제 휴머노이드 배포(deployment)를 통해 구현 인식 로봇 고유 생성이 음성-모션 정렬, 물리적 타당성, 모션 부드러움, 추론(inference) 효율성 및 실시간 상호작용 능력을 크게 향상시킴을 입증합니다.