Text-guided long-term human motion generation is essential for applications such as continuously operating digital avatars. Despite recent progress on short clips, existing models struggle with multi-segment instructions that involve anaphora, where constraints established in earlier segments must be preserved over time. In this paper, we introduce a novel task of long-term motion generation from such anaphoric compositions. To address this gap, we present ELMA, an episodic long-term motion dataset with dense segment-level annotations that preserve cross-segment dependencies. Built via a fully automated collection and filtering pipeline, ELMA extracts high-quality, continuous 30-second clips from in-the-wild videos, capturing the episodic narratives necessary for long-range state modeling. Using ELMA, we benchmark representative long-term motion generation models under independent and anaphoric instruction settings, and study whether contextual fine-tuning improves long-range state modeling. Our extensive experiments provide insights into the capabilities and limitations of existing models in handling context-dependent instructions. These findings highlight the challenge of modeling cross-segment dependencies and offer valuable directions for developing more coherent and semantically consistent long-term motion generation models.
최근의 텍스트-모션(text-to-motion) 모델들은 모션 품질과 지시 준수 능력을 향상시켰으나, 다단계 디노이징과 거대한 모델 구성 요소로 인해 배포 시 속도가 느리고 메모리 소모가 큽니다. 본 논문에서는 실제 모션 학습(training) 데이터 없이도 텍스트 프롬프트와 사전학습된 교사 모델로부터 효율적인 모션 생성기를 학습하는 온-정책(on-policy) 접근법인 종단 증폭 제어 증류(Terminal-Amplification-Controlled Distillation, TACD)를 제안합니다. 세분화된 온-정책 플로우 증류(segmented on-policy flow distillation)를 기반으로, 학생 모델이 생성한 궤적을 따라 정제 모션(clean-motion) 예측을 지도합니다. 저자들은 고정된 지도 격자에서 속도를 매칭할 때 디노이징 종단점 부근의 오차에 반복적으로 과도한 가중치가 부여되어 소수 단계 생성을 저하시키는 실패 모드를 규명했습니다. TACD는 가장 최근 교사 모델의 쿼리를 학생 모델의 스텝 크기와 연계하여, 추론(inference)을 변경하지 않고도 정제 모션 공간에서의 유효 손실(loss) 가중치를 제한합니다. HumanML3D 및 KIT-ML 데이터셋에 대한 실험을 통해 소수 단계 생성 성능의 향상을 입증했으며, 이러한 제한이 없는 증류 대비 8단계 HY-Motion 학생 모델의 FID가 58% 감소했습니다. 확산 교사 모델의 경우, TACD의 종단점 매칭 형태를 통해 50단계 교사 모델 대비 HumanML3D에서 더 낮은 FID 및 동등하거나 향상된 텍스트-모션 검색 성능을 갖는 4단계 학생 모델을 얻었습니다. HY-Motion 및 Kimodo에서 컴팩트한 구성 요소를 갖춘 8단계 학생 모델은 교사 모델 대비 7.7~11.9배의 엔드투엔드 속도 향상을 달성하고 최대 GPU 메모리를 3.8~6.7배 절감합니다. 프로젝트 페이지: https://vkgo.github.io/TACD/
인간-객체 상호작용 생성 모델은 기존 데이터의 한계에 직면해 있습니다. 일상적인 활동에는 여러 객체가 관여하지만, 다중 객체 캡처는 조합적 비용이 매우 크기 때문에 대부분의 캡처 데이터셋은 한 번에 하나의 객체만 기록합니다. 본 연구의 핵심 관찰은 상호작용이 국소적(local)이어서, 단일 객체 캡처 데이터에도 다중 객체 활동의 구성 요소들이 이미 포함되어 있다는 점입니다. 본 연구는 이를 합성합니다. 접촉 일관성을 유지하는 단일 상호작용 클립을 손의 균형을 맞추기 위해 대칭 변환하고 다른 신체로 전이하며, 언어 모델과 기하학적 검증을 통해 의미론적 및 물리적으로 타당한 쌍만을 허용합니다. 따라서 데이터셋은 녹화 시간이 아닌 클립 수에 따라 조합적으로 증가합니다. COSMI 데이터셋은 최대 5개 객체를 포함하는 22.2만 개의 시퀀스와 275시간 분량을 보유하고 있으며, 이는 기존 최대 규모의 다중 객체 캡처 대비 약 30배에 달하고 다른 데이터셋이나 손-객체 기록을 추가하여 확장할 수 있습니다. 본 연구는 이 데이터를 바탕으로 데이터 구축 방식을 따르는 텍스트-상호작용 확산 트랜스포머(diffusion transformer)인 COSMI 기법을 학습합니다. 가중치를 공유하는 객체 슬롯은 가변적인 수의 객체를 생성하며, 이는 객체를 움직이는 신체 부위를 기준으로 예측됩니다. 미확인 객체 및 미확인 상호작용 조합을 포함한 벤치마크에서, 해당 데이터셋으로 학습된 모델은 미확인 조합에 대해서도 일반화 성능을 보입니다. COSMI는 텍스트 정렬 및 접촉 정확도에서 베이스라인을 능가하며, 미확인 객체에서 그 마진이 가장 크게 나타납니다. 코드, 모델, 데이터셋 파이프라인은 프로젝트 페이지(https://ptrvilya.github.io/cosmi)에 공개될 예정입니다.