arXiv:2403.09407

LM2D: Lyrics- and Music-Driven Dance Synthesis

Wenjie Yin, Xuejiao Zhao, Yi Yu, Hang Yin, Danica Kragic, Mårten Björkman

제출 2024-03-14

원문 초록

Dance typically involves professional choreography with complex movements that follow a musical rhythm and can also be influenced by lyrical content. The integration of lyrics in addition to the auditory dimension, enriches the foundational tone and makes motion generation more amenable to its semantic meanings. However, existing dance synthesis methods tend to model motions only conditioned on audio signals. In this work, we make two contributions to bridge this gap. First, we propose LM2D, a novel probabilistic architecture that incorporates a multimodal diffusion model with consistency distillation, designed to create dance conditioned on both music and lyrics in one diffusion generation step. Second, we introduce the first 3D dance-motion dataset that encompasses both music and lyrics, obtained with pose estimation technologies. We evaluate our model against music-only baseline models with objective metrics and human evaluations, including dancers and choreographers. The results demonstrate LM2D is able to produce realistic and diverse dance matching both lyrics and music. A video summary can be accessed at: https://youtu.be/4XCgvYookvA.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01742v1cs.RO공통 태그 Pose Estimation, Motion Generation

월드 모션 모델: SE(3) 궤적의 유연한 시퀀스 모델링

World Motion Models: Flexible Sequence Modeling of SE(3) Trajectories

인공 에이전트(agent)에게 공간 지능을 부여하려면 동적 3D 세계에 대한 포괄적인 생성형 사전 확률(generative prior)이 필요합니다. 본 논문에서는 희소한 SE(3) 포즈 궤적을 통해 시간에 걸쳐 "무엇이 어디에 있었고, 현재 어디에 있으며, 앞으로 어디에 있을 것인가"를 포착하는 월드 모션 모델(World Motion Models, WMM)을 제안합니다. WMM은 동적 장면의 요소들이 4D 모델링을 위한 최소한이면서도 표현력이 뛰어난 프리미티브인 강체 SE(3) 궤적 집합으로 잘 근사될 수 있다는 관찰에 기반합니다. 이러한 표현은 다관절 객체, 인체, 손-객체 상호작용, 구분적 강체(piecewise-rigid) 장면 역학, 카메라 움직임, 나아가 로봇 상태와 행동까지 단일 공유 공간으로 통합합니다. 이 표현을 바탕으로 저자들은 토큰별 노이즈 레벨을 적용한 플로우 매칭(flow-matching)을 활용하여 이러한 엔티티들의 결합 분포를 유연한 시퀀스 모델링 문제로 정식화합니다. 비순차적 조건화를 위한 컨텍스트 토큰 메커니즘과 결합된 이 정식화는 임의의 수의 엔티티와 타임스텝에 걸쳐 임의 대 임의(any-to-any) 주변 조건화를 지원합니다. 미래 예측, 모션 인필링(motion infilling), 모델 예측 제어(MPC), 역기구학(IK), 교차 임바디먼트 리타기팅(cross-embodiment retargeting), 정책 학습과 같은 태스크들은 모두 동일한 네트워크 위에 서로 다른 마스크를 적용하는 문제로 귀결됩니다. 3D 비전 및 로보틱스의 6가지 다양한 응용 분야에 대한 실험은 WMM의 다재다능함과 유연성, 그리고 뛰어난 성능을 입증합니다.

arXiv:2607.23517v1cs.CV공통 태그 Pose Estimation, Motion Generation

상반신 인간-객체 상호작용을 위한 실시간 인간 중심 월드 모델링

Real-Time Human-Centric World Modeling for Upper-Body Human-Object Interaction

본 연구는 상반신 인터랙티브 생성을 위한 실시간 인간 중심 월드 모델을 제안한다. 이 모델은 사람을 중심으로 한 일관된 국소 세계 동역학을 합성하는 것을 목표로 하며, 조율된 신체·손·얼굴 움직임이 제어 가능한 인간-객체 이산 상호작용과 함께 공동적으로 진화한다. 이를 위해 연속적 인간 상태와 이산 상호작용 상태라는 두 보완적 구성 요소를 갖춘 연속-이산 공동 제어 방식을 채택한다. 연속적 인간 상태 제어를 위해 다중 스케일 모션 인코딩에 기반한 통합 암시적 표현을 도입한다. 상반신, 손, 얼굴의 모션 잠재 변수를 공유 잠재 공간에 융합하며, 이 다중 스케일 설계는 서로 다른 공간 스케일 전반의 표현력을 향상시키고, 세밀한 인간 동역학을 더 효과적으로 포착하며, 명시적 리타게팅(retargeting) 없이 직접 제어를 가능하게 한다. 이산 객체 상호작용 상태 제어를 위해 객체 접촉을 소수의 언어 인코딩 이산 상호작용 상태로 표현한다. 여기서 텍스트는 개방형 생성 프롬프트가 아니라 \emph{no contact} 또는 \emph{grasp}와 같은 명시적 상호작용 상태 명령으로 작용한다. 또한 이러한 이산 상호작용 상태를 감독하기 위해 인간-객체 상호작용 데이터용 전용 렌더링 파이프라인을 구축한다. 연속적 암시적 인간 상태 제어와 이산 상호작용 상태 제어를 결합함으로써, 모델은 인근 장면 상태의 제어 가능한 변화를 포함하여 사람이 국소 환경에서 어떻게 움직이고 상호작용하는지를 정밀하게 모델링할 수 있다. 마지막으로 효율적인 스트리밍 실시간 추론을 위해 모델을 증류(distillation)하여 두 대의 H100 GPU에서 25 FPS를 달성한다. 실험 결과, 세밀한 모션 충실도 향상, 더 현실적인 손-객체 조율, 효과적인 실시간 상호작용을 보여 주며, 모션 재현을 넘어 실시간 인간 중심 월드 모델링을 향한 실용적 진전을 이룬다.

arXiv:2607.10287v1cs.CV공통 태그 Pose Estimation, Motion Generation

InterPet4D: 반려동물 모션 생성을 위한 멀티모달 4D 인간-반려동물 상호작용 데이터셋

InterPet4D: A Multimodal 4D Human-Pet Interaction Dataset for Pet Motion Generation

인간-반려동물 상호작용 추정 및 생성은 고품질 대규모 데이터셋의 부재로 인해 충분히 연구되지 않은 분야입니다. 우리는 인간과 개 사이의 자연스러운 상호작용을 포착한 최초의 멀티모달 데이터셋인 InterPet4D를 제시합니다. 동기화된 다중 시점 캡처 시스템을 사용하여 인간-개 복종 훈련 장면을 녹화하고, 다중 시점 및 에고센트릭 영상, 세그멘테이션, 2D 및 3D 키포인트, 메시, 오디오 트랙을 포함한 인간과 개 각각에 대한 어노테이션을 제공합니다. InterPet4D는 23명의 인간 참가자와 상호작용하는 11개 품종의 개 13마리로부터 수집한 680만 프레임으로 구성됩니다. 나아가 인간-반려동물 상호작용 모션 생성을 위한 InterPetMoGen 프레임워크를 소개합니다. 제안한 모델은 FID 점수 11.21을 달성하며 Seq2Seq 및 DiT 베이스라인을 크게 상회하여, 현실적인 인간-반려동물 상호작용 모델링에 있어 InterPet4D의 효과성을 입증합니다.

arXiv:2606.24255v1cs.CV공통 태그 Pose Estimation, Motion Generation

소셜 구조가 중요하다: 3D 인간-인간 상호작용 생성에서

Social Structure Matters in 3D Human-Human Interaction Generation

텍스트-모션 생성(text-to-motion generation)은 언어로부터 현실감 있는 단일 인물 모션을 합성하는 데 있어 강력한 진전을 이루었지만, 이를 텍스트 기반 3D 인간-인간 상호작용(HHI, Human-Human Interaction) 생성으로 확장하는 것은 여전히 쉽지 않다. HHI는 단계 진행, 행위자 역할, 행위자 간 조율을 지배하는 근본적인 **소셜 구조(social structure)**를 모델링해야 하기 때문이다. 본 논문에서는 HHI 생성을 소셜 구조 모델링 및 그라운딩 문제로 정식화한다. 즉, 모델은 상호작용이 어떻게 전개되고 두 행위자가 어떻게 역할을 조율하는지를 먼저 추론한 뒤, 이 구조를 연속적이고 물리적으로 타당하며 파트너를 인식하는 3D 모션으로 실현해야 한다. 이러한 구조를 어떻게 모델링해야 하는지 연구하기 위해, 우리는 먼저 HHI 생성에 있어 대규모 언어 모델(LLM)의 능력 경계를 분석한다. 분석 결과, LLM은 단계 분해와 파트너 인식 역할을 복원함으로써 *사고(think)*할 수는 있지만, 동적이고 물리적으로 타당하며 상호작용을 인식하는 모션을 생성하는 데 실패하여 직접적으로 *움직이는(move)* 것은 불가능함을 보인다. 이는 우리의 플래너-실행기(planner-executor) 패러다임인 **LLM으로 사고하고, 모션 스킬로 움직여라(Think with LLM, Move with Motion Skill)**의 동기가 된다. LLM 플래너는 상호작용을 단계로 분해하고, 파트너 인식 행위자 역할을 할당하며, 이를 모션 시퀀스와 정렬함으로써 암묵적인 상호작용 의미론을 모션 정렬 소셜 감독(motion-aligned social supervision)으로 변환한다. 모션 실행기는 LoRA, 이전 단계 자기 조건화(previous-phase self-conditioning), 자아 상대적 파트너 조건화(ego-relative partner conditioning)를 통해 사전학습된 단독 모션 모델을 적응시켜 계획된 소셜 구조를 조율된 두 인물 모션으로 그라운딩한다. 이를 통해 우리의 Solo-to-Social 프레임워크는 소셜 조직화와 모션 실현을 연결하여, 향상된 단계 일관성, 역할 정렬, 파트너 인식 조율을 갖춘 3D HHI를 생성한다.

arXiv:2606.20731v1cs.CV공통 태그 Pose Estimation, Motion Generation

XmoPipe: 대규모 실환경(in-the-wild) 인간 모션 데이터셋 구축 파이프라인

XmoPipe: A Pipeline for Large-Scale In-the-Wild Human Motion Dataset Construction

대규모 인간 모션 데이터셋은 분석, 합성, 이해를 위한 견고한 모션 모델 학습에 필수적이다. 마커 기반 모션 캡처(motion capture)는 정밀한 데이터를 제공하지만, 비용이 크고 규모와 다양성 면에서 제한적이다. 단안(monocular) 모션 캡처와 비디오-언어(video-language) 이해의 최근 발전은 제약 없는 온라인 영상에서 그럴듯한(plausible) 모션을 추출할 길을 열었다. 우리는 실환경(in-the-wild) 인간 모션 데이터셋 구축을 위한 확장 가능한(scalable) 파이프라인을 제안한다. 소수의 키워드만으로 시스템은 영상을 검색하고, 3D 신체 및 얼굴 모션을 추출하며, 고수준(high-level) 텍스트 설명을 생성한다. 이 파이프라인은 유연하여 다양한 동작, 다인원 상호작용, 또는 표현적 행동의 목표 지향적 수집을 가능하게 한다. 우리는 모션 재구성(reconstruction) 및 모션 생성(generation) 모델을 학습하여 품질을 입증하며, 전통적인 모션 캡처 데이터셋으로 학습한 모델과 비슷한 성능과 강한 교차 데이터셋(cross-dataset) 일반화(generalization)를 보인다.

arXiv:2606.21135v1cs.CV공통 태그 Pose Estimation, Motion Generation

Odoriko: 인체 동작을 위한 체형 인식 멀티모달 확산(diffusion) 프레임워크

Odoriko: A Shape-Aware Multimodal Diffusion Framework for Human Motion

인간 동작 생성은 텍스트, 음악, 비디오 등 다양한 입력 모달리티에서 폭넓게 연구되어 왔으며, 최근에는 이를 단일 멀티모달 프레임워크로 통합하려는 노력이 이어지고 있다. 그러나 성별과 체형 같은 형태학적(morphological) 요인이 서로 다른 운동학적(kinematic) 특성을 낳는다는 것이 알려져 있음에도, 기존 통합 프레임워크는 이를 생성에 반영하지 않고 모든 피험자를 형태학적으로 동등한 것으로 취급한다. 본 논문은 Odoriko를 제안한다. Odoriko는 피험자의 생체 형태학(bio-morphological) 정보를 합성된 동작 출력에 직접 반영하는 최초의 통합 멀티모달 동작 생성 프레임워크이다. Odoriko는 피험자 간 변이를 평균화하는 대신, 단일 모델 내에서 텍스트, 음악, 비디오 조건 모두에 걸쳐 무엇을 하라는 지시뿐 아니라 누가 움직이는지와 일관된 동작을 생성한다. 명시적인 형태학적 정보를 사용할 수 없을 때 Odoriko는 동작과 함께 피험자 형태학을 추가로 복원하여, 하나의 프레임워크에서 추정과 생성을 통합한다. 텍스트-동작, 음악-댄스, 비디오-동작 벤치마크에 걸친 광범위한 실험은 Odoriko가 표준 지표에서 기존 특화 모델과 동등하거나 이를 능가함을 보여주며, 기존 통합 프레임워크가 지원하지 않는 형태학적 일관성을 갖춘 생성을 가능하게 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.