arXiv:2609.34697v2 cs.CV

장기 모션 생성을 위한 삼각 리샘플링

Triangular Resampling for Long-Horizon Motion Generation

Kunhang Li, Yiyi Cai, Xiangyue Zhang, Fangyuan Tu, Yuhan Wu, Zhixiang Wang, Kaipeng Zhang, Haiyang Liu

제출 2026-09-28

한국어 초록

본 논문에서는 모션 디퓨전 모델(motion diffusion model)에서 장기(long-horizon) 오차 누적을 완화하기 위한 사후 학습 방법인 삼각 리샘플링(Triangular Resampling, TR)을 제안합니다. FloodDiffusion의 삼각 디노이징 스케줄을 기반으로 구축된 TR은 정답(ground truth) 기반 학습 윈도우와 모델이 생성한 추론 상태 간의 불일치를 해결합니다. 완료된 모션 히스토리만 대체하는 방식은 활성 윈도우 내에서 부분적으로 디노이징된 상태의 이러한 불일치를 해결하지 못한 채로 둡니다. 따라서 TR은 롤아웃 기반 학습을 이러한 상태로 확장하고, 정답 클램핑(ground-truth clamping)을 사용하여 과도한 드리프트를 제한합니다. 재생(replay)되는 각 샘플에 대해 TR은 잠재 위치(latent position) 및 재생 업데이트 전반에 걸쳐 공유되는 단일 디노이징 임계값을 도출하고, 그래디언트 추적 없이 다단계 삼각 디노이징을 재생합니다. 각 업데이트 후, 임계값 미만의 상태는 노이즈가 매칭된 정답으로 대체되는 반면, 임계값 이상의 상태는 모델의 예측을 유지합니다. 이렇게 생성된 잠재 윈도우는 표준 학습 업데이트에 입력됩니다. 이러한 롤아웃 구성은 지도 학습(supervised training, TR)과 분포 매칭(distribution matching, TR-DMD)을 모두 지원합니다. HumanML3D 테스트 프롬프트를 사용한 120초 모션 생성에서 TR과 TR-DMD는 각각의 비 DMD 및 DMD 비교 그룹 내에서 최고 수준의(SOTA) FID AUC를 달성합니다. 지도 학습 기반 TR은 재생이 없는 매칭된 사후 학습 대비 FID AUC를 40.9%, FID 저하 기울기를 55.3% 감소시킵니다.

원문 초록

We introduce Triangular Resampling (TR), a post-training method for mitigating long-horizon error accumulation in motion diffusion models. Built on FloodDiffusion's triangular denoising schedule, TR addresses the mismatch between ground-truth-derived training windows and model-generated inference states. Replacing only completed motion history leaves this mismatch unresolved in partially denoised states within the active window. TR therefore extends rollout-based training to these states, using ground-truth clamping to limit excessive drift. For each replayed sample, TR draws one denoising threshold, shared across latent positions and replay updates, and replays multi-step triangular denoising without gradient tracking. After each update, states below the threshold are replaced with noise-matched ground truth, while those at or above it retain model predictions. The resulting latent window enters the standard training update. This rollout construction supports both supervised training (TR) and distribution matching (TR-DMD). On 120-second motion generation from HumanML3D test prompts, TR and TR-DMD achieve state-of-the-art FID AUC within their respective non-DMD and DMD comparison groups. Supervised TR reduces FID AUC by 40.9% and FID degradation slope by 55.3% relative to matched post-training without replay.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.34697v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.33167v2cs.CV공통 태그 Denoising, Motion Generation

FloodDiffusion 2: 효율적이고 경로 제어가 가능한 스트리밍 모션 생성

FloodDiffusion 2: Efficient and Path Controllable Streaming Motion Generation

우리는 최신 스트리밍 모션 생성 모델인 FloodDiffusion(FD1)을 기반으로 하는 효율적이고 제어 가능한 프레임워크인 FloodDiffusion 2(FD2)를 제시한다. FD1은 그럴듯한 모션을 생성하지만, 어텐션 설계가 전체 히스토리에 대해 반복적인 계산을 요구하기 때문에 효율성이 낮고, 실제 응용을 위한 정밀한 궤적 제어가 부족하여 제어 가능성이 제한적이라는 문제가 있다. 이러한 한계를 해결하고 생성 품질을 향상시키기 위해 FD2는 세 가지 개선 사항을 도입한다. 첫째, Partial Attention은 확정된 히스토리 표현(finalized history representation)을 활성 윈도우(active window)와 독립적으로 만들어, KV 캐싱 추론(KV-cached inference)과 효율적인 학습을 위한 공유 히스토리 패킹(shared-history packing)을 가능하게 한다. 둘째, 회귀 손실(regression loss)에 대한 필요충분(necessary-and-sufficient) 브레그만(Bregman) 기준을 확립하여 디퓨전(diffusion)의 조건부 평균 속도장(conditional-mean velocity field)을 보존한다. 이 기준은 온라인 순방향 동역학(forward kinematics, FK) 평가 없이도 모션 기하학(motion geometry)을 포함하는 FK 유도 이차 손실(FK-induced quadratic loss)을 이끌어낸다. 셋째, FD2는 자연스러운 신체 모션을 유지하면서 캐릭터의 루트 궤적(root trajectory)을 제어하기 위한 정밀한 경로 조건화(path conditioning)를 도입한다. 실험 결과, FD2는 학습 연산량을 4.6배 줄이고 디노이징(denoising)을 11.29배 가속화하여 긴 시퀀스에서 업데이트당 2.303ms에 도달한다. 이러한 효율성 향상과 더불어 FD2는 FD1보다 모션 품질을 개선하며, 스트리밍 방법들 중 SEED에서 0.048, HumanML3D에서 0.053이라는 최첨단(state-of-the-art) FID 점수를 달성한다.

arXiv:2610.01517v1cs.CV공통 태그 Denoising, text-to-motion

SuperMotion: 텍스트 기반 사람 동작 편집을 위한 원본 보존 디노이징

SuperMotion: Source-Preserving Denoising for Text-Driven Human Motion Editing

텍스트 기반 사람 동작 편집(human motion editing)은 양립 가능한 원본 콘텐츠를 보존하면서 요청된 변경 사항을 구현하는 것을 목표로 합니다. 기존의 확산(diffusion) 기반 편집 모델들은 편집되지 않은 부분의 보존을 위해 주로 학습된 조건화(conditioning)에 의존하지만, 디노이징(denoising)이 진행됨에 따라 출력에서 시간적 세부 정보가 손실될 수 있습니다. 본 논문에서는 원본 보존을 위해 각 역과정 단계(reverse step)에서 원본을 명시적으로 재사용하는 원본 보존 디노이징 프레임워크인 SuperMotion(\textbf{Source-Preserving Denoising framework})을 제안합니다. 먼저 원본 동작을 출력 타임라인에 정렬하고, 프레임 및 특징(feature) 차원에 걸쳐 재사용을 제어하는 보존 게이트(preservation gate)를 예측합니다. 그런 다음 클린 공간 원본 앵커(clean-space source anchor)가 학습된 보존 게이트를 활용하여 예측된 클린 동작과 정렬된 원본을 혼합하고, 보정된 추정치를 샘플링 사후확률(sampling posterior)에 직접 전달합니다. 정렬된 원본은 회귀 출력이 아닌 실제 실현된 동작이므로, 앵커는 재구성 학습된 디노이저가 매끄럽게 뭉개버리는 경향이 있는 샘플 수준의 시간적 세부 정보를 주입합니다. 효과적인 원본 재사용을 학습하기 위해, 앵커링된 추정치를 편집 대상에 대해 지도 학습하고 시간적 고주파 손실(loss)을 통해 2차 시간 차분을 일치시킵니다. 이러한 목적 함수들은 명시적인 편집 마스크를 필요로 하지 않습니다. 광범위한 실험을 통해 SuperMotion은 MotionFix에서 33.20%의 전체 풀 R@1에 도달하여 편집 정확도를 향상시키는 동시에, 요청된 변경 사항을 구현하면서 시간적 세부 정보 감쇠를 줄이고 동작의 동역학(dynamics)을 보존함을 보여줍니다. 소거 연구(ablation)를 통해 학습된 보존 게이트가 이러한 성능 향상의 원인이며, 편집되지 않은 콘텐츠를 적절히 유지하기 위해 원본을 재사용함을 확인했습니다.

arXiv:2609.23010v1cs.CV공통 태그 Motion Generation, text-to-motion

MixiMotion: 비대칭 집합 증류를 통한 1단계 텍스트-모션 생성

MixiMotion: One-Step Text-to-Motion Generation via Asymmetric Set Distillation

반복적 텍스트-모션 생성은 품질이 높고 의미적으로 정렬된 동작을 제공하지만, 여러 번의 네트워크 평가가 필요해 추론 지연이 크다. 본 논문은 오프라인 집합 증류에 기반한 엄격한 1단계 텍스트-모션 생성 프레임워크인 \textbf{MixiMotion}을 제시한다. 각 텍스트 프롬프트마다 단일 교사 궤적 하나만 증류하는 대신, MixiMotion은 여러 교사 동작으로 구성된 오프라인 뱅크를 구축하고 \textbf{asymmetric bidirectional matching}을 통해 교사와 학생 표본 집합을 정렬한다. 교사→학생 방향은 교사가 지원하는 다양한 동작의 포괴를 촉진하고, 학생→교사 방향은 지원되지 않는 생성을 억제한다. 또한 정규화된 표현 매칭을 디코딩된 모션 공간의 제약으로 보완하기 위해 미분 가능한 디코딩 공간 운동학적 감독을 도입한다. 추론 시 MixiMotion은 교사 질의, 반복 샘플링, 후보 순위화 없이 단일 네트워크 평가로 완전한 동작 시퀀스를 생성한다. ViMoGen에서 MixiMotion은 의미 정렬 점수 $0.835$를 달성해 평가된 1단계 기준선들을 능가하고, 50단계 HY-Motion-1.0-Lite 교사의 $0.858$ 점수에 근접한다. 블라인드 인간 평가에서 MixiMotion은 전체 평점 $4.33$을 얻었고(교사 $4.50$), 평가된 1-/few-step 기준선들을 능가했다. 한편 생성 지연은 $829.58$\,ms에서 $9.30$\,ms로 줄어 $89.2\times$ 속도 향상에 해당한다. 이 결과는 엄격한 1단계 텍스트-모션 생성에서 효과적인 품질-효율 트레이드오프를 보여준다.

arXiv:2607.22702v1cs.CV공통 태그 Motion Generation, text-to-motion

MIME: 다중모달 상호작용 모션 인코더

MIME: Multimodal Interactive Motion Encoder

텍스트-모션 표현 학습은 빠르게 발전해 왔으며, 애니메이션, AR/VR, 체화 AI(embodied AI) 분야에서 다인 상호작용에 대한 관심이 커지고 있다. 이러한 설정에서는 언어를 개별 행위자의 역학과 행위자 간 관계 모두에 정렬하는 표현이 필요하다. 우리는 다중모달 상호작용 모션 인코더(MIME)를 제안한다. 우리가 아는 한 MIME은 두 사람 상호작용 모션을 위해 특별히 설계된 최초의 전용 다중모달 인코더이다. MIME은 명시적 상호작용 특징과 커리큘럼 기반 대조 학습을 갖춘 스트림 기반 공동 어텐션(co-attention)을 사용하여 개별 및 공유 구조를 포착한다. Inter-X 텍스트-모션 검색에서 MIME은 갤러리 크기 전반에 걸쳐 초기·후기 융합(fusion) 기준선을 일관되게 능가하며, 2,000개 샘플 갤러리에서 text-to-motion R@1 기준 상대 12.8% 개선을 달성한다. 또한 학습에 포함되지 않은(unseen) InterHuman 데이터셋에서 TIMotion과 InterMask 내부의 동결(frozen) 보조 사전(prior)으로 MIME을 추가로 평가했다. MIME은 TIMotion에서 유사한 FID를 유지하면서 의미 정렬 지표를 개선한다. 이러한 결과는 상호작용 인식 다중모달 인코딩이 다인 모션 검색을 개선하고, 데이터셋 간 전이되어 하위 모션 생성을 지원함을 보여준다.

arXiv:2609.27901v2cs.CV공통 태그 Denoising

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2609.14856v3cs.CV공통 태그 Denoising

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.