TACD: 종단 증폭 제어를 통한 효율적인 텍스트-모션 모델 증류
TACD: Distilling Efficient Text-to-Motion Models via Terminal Amplification Control
최근의 텍스트-모션(text-to-motion) 모델들은 모션 품질과 지시 준수 능력을 향상시켰으나, 다단계 디노이징과 거대한 모델 구성 요소로 인해 배포 시 속도가 느리고 메모리 소모가 큽니다. 본 논문에서는 실제 모션 학습(training) 데이터 없이도 텍스트 프롬프트와 사전학습된 교사 모델로부터 효율적인 모션 생성기를 학습하는 온-정책(on-policy) 접근법인 종단 증폭 제어 증류(Terminal-Amplification-Controlled Distillation, TACD)를 제안합니다. 세분화된 온-정책 플로우 증류(segmented on-policy flow distillation)를 기반으로, 학생 모델이 생성한 궤적을 따라 정제 모션(clean-motion) 예측을 지도합니다. 저자들은 고정된 지도 격자에서 속도를 매칭할 때 디노이징 종단점 부근의 오차에 반복적으로 과도한 가중치가 부여되어 소수 단계 생성을 저하시키는 실패 모드를 규명했습니다. TACD는 가장 최근 교사 모델의 쿼리를 학생 모델의 스텝 크기와 연계하여, 추론(inference)을 변경하지 않고도 정제 모션 공간에서의 유효 손실(loss) 가중치를 제한합니다. HumanML3D 및 KIT-ML 데이터셋에 대한 실험을 통해 소수 단계 생성 성능의 향상을 입증했으며, 이러한 제한이 없는 증류 대비 8단계 HY-Motion 학생 모델의 FID가 58% 감소했습니다. 확산 교사 모델의 경우, TACD의 종단점 매칭 형태를 통해 50단계 교사 모델 대비 HumanML3D에서 더 낮은 FID 및 동등하거나 향상된 텍스트-모션 검색 성능을 갖는 4단계 학생 모델을 얻었습니다. HY-Motion 및 Kimodo에서 컴팩트한 구성 요소를 갖춘 8단계 학생 모델은 교사 모델 대비 7.7~11.9배의 엔드투엔드 속도 향상을 달성하고 최대 GPU 메모리를 3.8~6.7배 절감합니다. 프로젝트 페이지: https://vkgo.github.io/TACD/