arXiv:2412.09822

Dynamic Try-On: Taming Video Virtual Try-on with Dynamic Attention Mechanism

Jun Zheng, Jing Wang, Fuwei Zhao, Xujie Zhang, Xiaodan Liang

제출 2024-12-13

원문 초록

Video try-on stands as a promising area for its tremendous real-world potential. Previous research on video try-on has primarily focused on transferring product clothing images to videos with simple human poses, while performing poorly with complex movements. To better preserve clothing details, those approaches are armed with an additional garment encoder, resulting in higher computational resource consumption. The primary challenges in this domain are twofold: (1) leveraging the garment encoder's capabilities in video try-on while lowering computational requirements; (2) ensuring temporal consistency in the synthesis of human body parts, especially during rapid movements. To tackle these issues, we propose a novel video try-on framework based on Diffusion Transformer(DiT), named Dynamic Try-On. To reduce computational overhead, we adopt a straightforward approach by utilizing the DiT backbone itself as the garment encoder and employing a dynamic feature fusion module to store and integrate garment features. To ensure temporal consistency of human body parts, we introduce a limb-aware dynamic attention module that enforces the DiT backbone to focus on the regions of human limbs during the denoising process. Extensive experiments demonstrate the superiority of Dynamic Try-On in generating stable and smooth try-on results, even for videos featuring complicated human postures.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.19923v1cs.CV공통 태그 Denoising, Virtual Try-on

WearWow: 적응형 토큰 패킹과 선호도 정렬을 통한 네이티브 2K 다중 의류 가상 착용

WearWow: Native 2K Multi-Garment Virtual Try-On via Adaptive Token Packing and Preference Alignment

네이티브 2K 다중 의류 가상 착용을 합성하는 것은 디지털 패션 분야의 어려운 최전선 과제이며, 두 가지 근본적 한계에 의해 심각하게 병목을 겪고 있다: 2K 조건으로 인해 발생하는 O(N^2) 메모리 폭발, 그리고 고주파 직물 디테일을 과도하게 평활화하는 확산 모델의 스펙트럴 바이어스(spectral bias). 우리는 초고해상도 다중 의류 합성을 개척하는 end-to-end, 마스크 없는(mask-free) 생성 프레임워크인 WearWow를 제안한다. 메모리 폭발을 완화하기 위해 적응형 2D 토큰 패킹(Adaptive 2D Token Packing, ATP)을 제안한다. ATP는 의류 고유의 희소성을 활용하여 이질적인 아이템을 통합 2D 캔버스에 알고리즘적으로 패킹하고 정보가 없는 배경 토큰을 가지치기하여, 2D 공간 사전(prior)을 엄격히 보존하면서 유효 시퀀스 길이와 그에 따른 메모리 오버헤드를 최소화한다. 텍스처 저하를 교정하기 위해 다차원 가상 착용 보상(Multi-dimensional Try-on Reward, MTR) 시스템을 도입한다. MTR은 촉각적 복원을 명시적으로 유도하는 의미적 가이던스 보상(Semantic Guidance Reward)과 물리적 분포를 암묵적으로 고정하는 의류 분포 보상(Cloth Distribution Reward)을 시너지시키며, 이 공동 공식화는 심각한 보상 해킹(reward hacking)을 효과적으로 완화한다. 또한 네이티브 2K 트리플릿으로 구성된 극고품질 데이터셋 WearWow-2K를 큐레이션하여, 물리적으로 올바른 공간 상호작용을 제공하고 이는 자연스럽게 모델의 마스크 없는 생성을 강화한다. 광범위한 실험을 통해 WearWow가 네이티브 2K 다중 의류 합성에서 기존 상용 베이스라인을 능가하며 새로운 state-of-the-art를 확립함을 보여준다.

arXiv:2607.11233v1cs.CV공통 태그 Denoising, Virtual Try-on

빠르고 고충실도 가상 착용을 위한 구조-세부사항 분리 자기회귀 생성

Structure-Detail Decoupled Autoregressive Generation for Fast and High-Fidelity Virtual Try-On

가상 착용(Virtual Try-On, VTON)은 정확한 인물 보존뿐만 아니라 충실한 의상 변형 및 세부 합성을 동시에 요구하는 이중 조건 이미지 생성 문제입니다. 확산(diffusion) 기반 VTON 방법은 압축된 잠재 공간에서 이러한 요소들을 함께 모델링할 수 있지만, 비용이 높은 다단계 노이즈 제거 과정에서도 고유한 잠재 압축으로 인해 고주파 세부 정보 손실이 발생합니다. 최근의 시각적 자기회귀(Visual Autoregressive, VAR) 모델은 빠른 추론으로 고품질 생성을 위한 유망한 대안을 제공하지만, 효과적인 이중 조건화 메커니즘의 부재로 인해 VTON에 대한 탐색이 이루어지지 않았습니다. 이 격차를 해소하기 위해, 우선 VAR 기반 VTON 모델인 VAR-VTON을 소개합니다. 이 모델은 효율적인 잠재 공간 VTON을 위해 의상 조건화와 구조적 가이던스를 통합합니다. 그 효과에도 불구하고, 잠재 공간 생성은 여전히 세밀한 의상 세부 정보를 보존하는 데 어려움을 겪습니다. 우리는 서로 다른 VTON 하위 작업이 서로 다른 표현 공간에서 다루어져야 한다고 주장합니다: 의상 워핑(warping) 및 인물 레이아웃과 같은 구조적 합성은 잠재 공간에 적합한 반면, 세밀한 세부 정보 복원은 픽셀 공간에서 처리되어야 합니다. 이러한 통찰에서 영감을 받아, 잠재 공간 구조 합성과 픽셀 공간 세부 정보 복원을 분리하는 2단계 자기회귀(Two-Stage AutoRegressive) 프레임워크인 STAR-VTON을 추가로 제안합니다. STAR-VTON은 VAR-VTON을 기반으로 하며, 매칭 정보 기반 정제기(matching-informed refiner)를 활용하여 1단계 생성 결과와 원본 의상 간의 밀집 대응 관계를 확립함으로써 세밀한 픽셀 공간 세부 정보를 직접 매핑합니다. 광범위한 실험을 통해 STAR-VTON이 인상적인 효율성-충실도 균형을 달성함을 보여줍니다: VAR-VTON은 품질 저하 없이 확산 기반 대응 방법보다 최소 4배 빠르게 실행되며, 픽셀 공간 정제기는 세밀한 세부 정보를 효과적으로 복원하고 기존 VTON 접근 방식에도 이점을 제공하는 플러그 앤 플레이(plug-and-play) 모듈로 작동합니다.

arXiv:2609.27901v2cs.CV공통 태그 Denoising

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2609.14856v3cs.CV공통 태그 Denoising

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

arXiv:2607.13460v2cs.CV공통 태그 Denoising

LPM: 산업 규모 생성형 비디오 복원

LPM: Industrial-Scale Generative Video Restoration

본 논문은 복잡한 실환경(in-the-wild) 열화 하에서 사실적인(photorealistic) 비디오 복원을 위한 확산 기반 생성 프레임워크인 Large Processing Model(LPM)을 제안한다. 우리가 아는 한, LPM은 산업 규모로 배포된 최초의 생성형 비디오 복원 모델이다. LPM은 대규모 데이터 엔지니어링, 파운데이션 모델 학습, 효율적인 추론을 아우르는 통합 시스템을 통해 사용자 생성 콘텐츠(UGC)의 다양한 열화를 해결한다. 향상된 아키텍처, 점진적 학습 전략, 시간 피라미드(temporal-pyramid) 추론 메커니즘이 공동으로 UGC 플랫폼에서 접하는 넓은 콘텐츠 분포 전반에 걸쳐 임의 길이의 비디오에 대한 고충실도·시간적으로 일관된 복원을 가능하게 한다. LPM은 Kuaishou에 프로덕션으로 배포되었으며, 모델이 처리한 비디오는 전체 시청 시간의 약 45%를 차지하고 주요 체감 품질(quality-of-experience) 지표 전반에서 일관된 개선을 제공한다. 지각적 향상을 넘어 LPM은 상당한 시스템 수준의 이점도 제공한다. 동등한 지각 품질에서 Kuaishou 자체 코덱 대비 비트레이트를 20% 줄여, 연간 대역폭 비용을 수억 규모로 절감한다. 낮은 서빙 비용은 Kling과 같은 제품으로의 통합도 가능하게 하며, 생성형 복원이 대규모 비디오 처리에 실용적이고 확장 가능하며 비용 효율적일 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.