arXiv:2401.08559

Multi-Track Timeline Control for Text-Driven 3D Human Motion Generation

Mathis Petrovich, Or Litany, Umar Iqbal, Michael J. Black, Gül Varol, Xue Bin Peng, Davis Rempe

제출 2024-01-16

원문 초록

Recent advances in generative modeling have led to promising progress on synthesizing 3D human motion from text, with methods that can generate character animations from short prompts and specified durations. However, using a single text prompt as input lacks the fine-grained control needed by animators, such as composing multiple actions and defining precise durations for parts of the motion. To address this, we introduce the new problem of timeline control for text-driven motion synthesis, which provides an intuitive, yet fine-grained, input interface for users. Instead of a single prompt, users can specify a multi-track timeline of multiple prompts organized in temporal intervals that may overlap. This enables specifying the exact timings of each action and composing multiple actions in sequence or at overlapping intervals. To generate composite animations from a multi-track timeline, we propose a new test-time denoising method. This method can be integrated with any pre-trained motion diffusion model to synthesize realistic motions that accurately reflect the timeline. At every step of denoising, our method processes each timeline interval (text prompt) individually, subsequently aggregating the predictions with consideration for the specific body parts engaged in each action. Experimental comparisons and ablations validate that our method produces realistic motions that respect the semantics and timing of given text prompts. Our code and models are publicly available at https://mathis.petrovich.fr/stmc.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.33167v2cs.CV공통 태그 Denoising, Motion Generation

FloodDiffusion 2: 효율적이고 경로 제어가 가능한 스트리밍 모션 생성

FloodDiffusion 2: Efficient and Path Controllable Streaming Motion Generation

우리는 최신 스트리밍 모션 생성 모델인 FloodDiffusion(FD1)을 기반으로 하는 효율적이고 제어 가능한 프레임워크인 FloodDiffusion 2(FD2)를 제시한다. FD1은 그럴듯한 모션을 생성하지만, 어텐션 설계가 전체 히스토리에 대해 반복적인 계산을 요구하기 때문에 효율성이 낮고, 실제 응용을 위한 정밀한 궤적 제어가 부족하여 제어 가능성이 제한적이라는 문제가 있다. 이러한 한계를 해결하고 생성 품질을 향상시키기 위해 FD2는 세 가지 개선 사항을 도입한다. 첫째, Partial Attention은 확정된 히스토리 표현(finalized history representation)을 활성 윈도우(active window)와 독립적으로 만들어, KV 캐싱 추론(KV-cached inference)과 효율적인 학습을 위한 공유 히스토리 패킹(shared-history packing)을 가능하게 한다. 둘째, 회귀 손실(regression loss)에 대한 필요충분(necessary-and-sufficient) 브레그만(Bregman) 기준을 확립하여 디퓨전(diffusion)의 조건부 평균 속도장(conditional-mean velocity field)을 보존한다. 이 기준은 온라인 순방향 동역학(forward kinematics, FK) 평가 없이도 모션 기하학(motion geometry)을 포함하는 FK 유도 이차 손실(FK-induced quadratic loss)을 이끌어낸다. 셋째, FD2는 자연스러운 신체 모션을 유지하면서 캐릭터의 루트 궤적(root trajectory)을 제어하기 위한 정밀한 경로 조건화(path conditioning)를 도입한다. 실험 결과, FD2는 학습 연산량을 4.6배 줄이고 디노이징(denoising)을 11.29배 가속화하여 긴 시퀀스에서 업데이트당 2.303ms에 도달한다. 이러한 효율성 향상과 더불어 FD2는 FD1보다 모션 품질을 개선하며, 스트리밍 방법들 중 SEED에서 0.048, HumanML3D에서 0.053이라는 최첨단(state-of-the-art) FID 점수를 달성한다.

arXiv:2609.34697v2cs.CV공통 태그 Denoising, Motion Generation

장기 모션 생성을 위한 삼각 리샘플링

Triangular Resampling for Long-Horizon Motion Generation

본 논문에서는 모션 디퓨전 모델(motion diffusion model)에서 장기(long-horizon) 오차 누적을 완화하기 위한 사후 학습 방법인 삼각 리샘플링(Triangular Resampling, TR)을 제안합니다. FloodDiffusion의 삼각 디노이징 스케줄을 기반으로 구축된 TR은 정답(ground truth) 기반 학습 윈도우와 모델이 생성한 추론 상태 간의 불일치를 해결합니다. 완료된 모션 히스토리만 대체하는 방식은 활성 윈도우 내에서 부분적으로 디노이징된 상태의 이러한 불일치를 해결하지 못한 채로 둡니다. 따라서 TR은 롤아웃 기반 학습을 이러한 상태로 확장하고, 정답 클램핑(ground-truth clamping)을 사용하여 과도한 드리프트를 제한합니다. 재생(replay)되는 각 샘플에 대해 TR은 잠재 위치(latent position) 및 재생 업데이트 전반에 걸쳐 공유되는 단일 디노이징 임계값을 도출하고, 그래디언트 추적 없이 다단계 삼각 디노이징을 재생합니다. 각 업데이트 후, 임계값 미만의 상태는 노이즈가 매칭된 정답으로 대체되는 반면, 임계값 이상의 상태는 모델의 예측을 유지합니다. 이렇게 생성된 잠재 윈도우는 표준 학습 업데이트에 입력됩니다. 이러한 롤아웃 구성은 지도 학습(supervised training, TR)과 분포 매칭(distribution matching, TR-DMD)을 모두 지원합니다. HumanML3D 테스트 프롬프트를 사용한 120초 모션 생성에서 TR과 TR-DMD는 각각의 비 DMD 및 DMD 비교 그룹 내에서 최고 수준의(SOTA) FID AUC를 달성합니다. 지도 학습 기반 TR은 재생이 없는 매칭된 사후 학습 대비 FID AUC를 40.9%, FID 저하 기울기를 55.3% 감소시킵니다.

arXiv:2609.27901v2cs.CV공통 태그 Denoising

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2609.14856v3cs.CV공통 태그 Denoising

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.