SuperMotion: 텍스트 기반 사람 동작 편집을 위한 원본 보존 디노이징
SuperMotion: Source-Preserving Denoising for Text-Driven Human Motion Editing
한국어 초록
텍스트 기반 사람 동작 편집(human motion editing)은 양립 가능한 원본 콘텐츠를 보존하면서 요청된 변경 사항을 구현하는 것을 목표로 합니다. 기존의 확산(diffusion) 기반 편집 모델들은 편집되지 않은 부분의 보존을 위해 주로 학습된 조건화(conditioning)에 의존하지만, 디노이징(denoising)이 진행됨에 따라 출력에서 시간적 세부 정보가 손실될 수 있습니다. 본 논문에서는 원본 보존을 위해 각 역과정 단계(reverse step)에서 원본을 명시적으로 재사용하는 원본 보존 디노이징 프레임워크인 SuperMotion(\textbf{Source-Preserving Denoising framework})을 제안합니다. 먼저 원본 동작을 출력 타임라인에 정렬하고, 프레임 및 특징(feature) 차원에 걸쳐 재사용을 제어하는 보존 게이트(preservation gate)를 예측합니다. 그런 다음 클린 공간 원본 앵커(clean-space source anchor)가 학습된 보존 게이트를 활용하여 예측된 클린 동작과 정렬된 원본을 혼합하고, 보정된 추정치를 샘플링 사후확률(sampling posterior)에 직접 전달합니다. 정렬된 원본은 회귀 출력이 아닌 실제 실현된 동작이므로, 앵커는 재구성 학습된 디노이저가 매끄럽게 뭉개버리는 경향이 있는 샘플 수준의 시간적 세부 정보를 주입합니다. 효과적인 원본 재사용을 학습하기 위해, 앵커링된 추정치를 편집 대상에 대해 지도 학습하고 시간적 고주파 손실(loss)을 통해 2차 시간 차분을 일치시킵니다. 이러한 목적 함수들은 명시적인 편집 마스크를 필요로 하지 않습니다. 광범위한 실험을 통해 SuperMotion은 MotionFix에서 33.20%의 전체 풀 R@1에 도달하여 편집 정확도를 향상시키는 동시에, 요청된 변경 사항을 구현하면서 시간적 세부 정보 감쇠를 줄이고 동작의 동역학(dynamics)을 보존함을 보여줍니다. 소거 연구(ablation)를 통해 학습된 보존 게이트가 이러한 성능 향상의 원인이며, 편집되지 않은 콘텐츠를 적절히 유지하기 위해 원본을 재사용함을 확인했습니다.
원문 초록
Text-driven human motion editing aims to realize a requested change while preserving compatible source content. Existing diffusion editors rely largely on learned conditioning for preservation of the unedited part, yet their outputs can lose temporal detail as denoising proceeds. We propose the \textbf{Source-Preserving Denoising framework (SuperMotion)}, which explicitly reuses the source at each reverse step for source preservation. We first align the source motion to the output timeline and predict a preservation gate that controls reuse across frames and feature dimensions. A clean-space source anchor then utilizes the learned preservation gate to blend the predicted clean motion with the aligned source and passes the corrected estimate directly to the sampling posterior. Because the aligned source is a realized motion rather than a regression output, the anchor injects sample-level temporal detail that a reconstruction-trained denoiser tends to smooth away. To learn effective source reuse, we supervise the anchored estimate against the editing target and match its second temporal differences through a temporal high-frequency loss. These objectives require no explicit edit masks. Extensive experiments show that SuperMotion improves editing accuracy, reaching 33.20\% full-pool R@1 on MotionFix, while reducing temporal-detail attenuation and preserving motion dynamics as it realizes the requested changes. Ablations confirm that the learned preservation gate is responsible for the gain and that it reuses the source to retain the unedited content properly.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
장기 모션 생성을 위한 삼각 리샘플링
Triangular Resampling for Long-Horizon Motion Generation
본 논문에서는 모션 디퓨전 모델(motion diffusion model)에서 장기(long-horizon) 오차 누적을 완화하기 위한 사후 학습 방법인 삼각 리샘플링(Triangular Resampling, TR)을 제안합니다. FloodDiffusion의 삼각 디노이징 스케줄을 기반으로 구축된 TR은 정답(ground truth) 기반 학습 윈도우와 모델이 생성한 추론 상태 간의 불일치를 해결합니다. 완료된 모션 히스토리만 대체하는 방식은 활성 윈도우 내에서 부분적으로 디노이징된 상태의 이러한 불일치를 해결하지 못한 채로 둡니다. 따라서 TR은 롤아웃 기반 학습을 이러한 상태로 확장하고, 정답 클램핑(ground-truth clamping)을 사용하여 과도한 드리프트를 제한합니다. 재생(replay)되는 각 샘플에 대해 TR은 잠재 위치(latent position) 및 재생 업데이트 전반에 걸쳐 공유되는 단일 디노이징 임계값을 도출하고, 그래디언트 추적 없이 다단계 삼각 디노이징을 재생합니다. 각 업데이트 후, 임계값 미만의 상태는 노이즈가 매칭된 정답으로 대체되는 반면, 임계값 이상의 상태는 모델의 예측을 유지합니다. 이렇게 생성된 잠재 윈도우는 표준 학습 업데이트에 입력됩니다. 이러한 롤아웃 구성은 지도 학습(supervised training, TR)과 분포 매칭(distribution matching, TR-DMD)을 모두 지원합니다. HumanML3D 테스트 프롬프트를 사용한 120초 모션 생성에서 TR과 TR-DMD는 각각의 비 DMD 및 DMD 비교 그룹 내에서 최고 수준의(SOTA) FID AUC를 달성합니다. 지도 학습 기반 TR은 재생이 없는 매칭된 사후 학습 대비 FID AUC를 40.9%, FID 저하 기울기를 55.3% 감소시킵니다.
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
LPM: 산업 규모 생성형 비디오 복원
LPM: Industrial-Scale Generative Video Restoration
본 논문은 복잡한 실환경(in-the-wild) 열화 하에서 사실적인(photorealistic) 비디오 복원을 위한 확산 기반 생성 프레임워크인 Large Processing Model(LPM)을 제안한다. 우리가 아는 한, LPM은 산업 규모로 배포된 최초의 생성형 비디오 복원 모델이다. LPM은 대규모 데이터 엔지니어링, 파운데이션 모델 학습, 효율적인 추론을 아우르는 통합 시스템을 통해 사용자 생성 콘텐츠(UGC)의 다양한 열화를 해결한다. 향상된 아키텍처, 점진적 학습 전략, 시간 피라미드(temporal-pyramid) 추론 메커니즘이 공동으로 UGC 플랫폼에서 접하는 넓은 콘텐츠 분포 전반에 걸쳐 임의 길이의 비디오에 대한 고충실도·시간적으로 일관된 복원을 가능하게 한다. LPM은 Kuaishou에 프로덕션으로 배포되었으며, 모델이 처리한 비디오는 전체 시청 시간의 약 45%를 차지하고 주요 체감 품질(quality-of-experience) 지표 전반에서 일관된 개선을 제공한다. 지각적 향상을 넘어 LPM은 상당한 시스템 수준의 이점도 제공한다. 동등한 지각 품질에서 Kuaishou 자체 코덱 대비 비트레이트를 20% 줄여, 연간 대역폭 비용을 수억 규모로 절감한다. 낮은 서빙 비용은 Kling과 같은 제품으로의 통합도 가능하게 하며, 생성형 복원이 대규모 비디오 처리에 실용적이고 확장 가능하며 비용 효율적일 수 있음을 보여준다.
언어 모델링을 위한 토큰 시간 연속 확산
Token Time Continuous Diffusion for Language Modeling
본 논문에서는 토큰 시간 연속 확산(token time continuous diffusion, TTCD)을 소개한다. TTCD는 (a) 연속 공간에서 동작하며, 가우시안 노이즈를 최종 토큰 캔버스(token canvas)로 결정론적으로 매핑하고 추가 샘플링 없이 완료하는 새로운 확산 언어 모델이며, 중요하게도 (b) 토큰별 시간(per-token times)이라는 새로운 개념을 도입하여, 일부 토큰은 다른 토큰보다 더 빠른 속도로 노이즈에서 토큰으로 진행한다. 연속 공간 모델링은 TTCD가 여러 토큰의 병렬 샘플링을 피하도록 돕는다. 이는 순수하게 이산 공간에서만 반복하는 모델들이 높은 가속(speedup)에서 겪는 부정확성의 주요 원인이다. 토큰별 시간 개념은 TTCD가 조건부 생성(conditional generation)을 더 잘 모델링하도록 돕고, 더 확실한 토큰이 더 빠른 속도로 진행할 수 있게 하며, 정제(refinement) 과정에서 토큰 간 영향을 차별화할 수 있게 한다. TTCD는 높은 가속에서 이산 모델보다 우수한 성능을 보인다. OpenWebText에서 160M 매개변수 TTCD 모델을 학습한 뒤 자기 지식 증류(self-distill)를 수행했으며, 높은 가속에서 무조건부 생성 품질은 동일 데이터에서 학습하고 자기 지식 증류를 적용한 유사 크기의 기존 모델들과 비슷한 수준이고, 조건부 생성에서는 이들을 능가함을 확인했다. 수도쿠(Sudoku) 풀이에서도 유사한 성능 향상을 달성했다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Under review