OmniTryOn: 모든 착용 아이템을 한 번에 가상 피팅하는 비디오 트라이온
OmniTryOn: Video Try-On Anything at Once!
한국어 초록
비디오 가상 착용(VVT) 기술은 상당한 발전을 이루었으나, 기존 방법들은 여전히 두 가지 근본적인 한계를 보입니다. 첫째, 단일 의류 변환에 국한되어 여러 아이템을 동시에 착용해보는 것이 매우 비현실적입니다. 둘째, 명시적인 외부 사전 정보(예: 의류 마스크)에 크게 의존하여 중요한 물리적 동역학을 불가피하게 훼손하고 시각적 품질을 저하시킵니다. 이러한 격차를 해소하기 위해, 본 논문에서는 단 한 번의 추론(inference) 과정으로 비디오 속 인물에게 다양한 착용 가능한 객체를 동시에 변환하는 것을 목표로 하는 새로운 Try-On Anything 태스크를 제안합니다. 이 패러다임을 지원하고 표준화하기 위해 맞춤형 평가 프로토콜과 함께 쌍을 이룬 비디오 데이터셋을 포함하는 포괄적인 벤치마크인 TryAny-Bench를 도입합니다. 나아가, 이 태스크를 해결하기 위해 외부 사전 정보가 필요 없는(external-prior-free) 생성 프레임워크인 OmniTryOn을 제시합니다. 구체적으로 OmniTryOn은 초기 비디오 프레임을 통해 생성 과정에 다양한 착용 객체를 직접 제공하는 First Frame Wearable Cache 전략을 사용합니다. 일관성을 유지하기 위해 우리는 복잡한 인체 움직임과 배경 동역학을 엄격하게 보존하는 강력한 시공간 앵커를 본질적으로 구축하는 시공간 일관성 RoPE(STC-RoPE)를 제안합니다. 제안된 점진적 가상 착용(GTO) 학습(training) 전략으로 최적화된 본 모델은 점진적으로 강력한 다중 객체 합성을 숙달합니다. TryAny-Bench에 대한 광범위한 실험을 통해 OmniTryOn이 기존의 특화된 비디오 가상 착용 모델들과 일반적인 비디오 편집 베이스라인들을 크게 능가하여 Try-On Anything 태스크에 대한 강력하고 새로운 기준을 확립함을 입증합니다. 데이터셋, 코드 및 모델은 https://github.com/xcltql666/OminTryOn 에서 확인할 수 있습니다.
원문 초록
Although video virtual try-on (VVT) has achieved significant progress, existing methods still exhibit two fundamental limitations: first, they are restricted to single-garment transfer, rendering simultaneous multi-object try-on highly impractical; second, their heavy reliance on explicit external priors (e.g., garment masks) inevitably destroys crucial physical dynamics and degrades visual quality. To bridge this gap, this paper proposes the novel Try-On Anything task, which aims to simultaneously transfer diverse wearable objects onto a person in a video in a single inference pass. To support and standardize this paradigm, we introduce TryAny-Bench, a comprehensive benchmark encompassing a paired video dataset alongside a tailored evaluation protocol. Furthermore, we present OmniTryOn, an external-prior-free generative framework designed to tackle this task. Specifically, OmniTryOn employs a First Frame Wearable Cache strategy, which directly provides diverse wearable objects for the generation process through the initial video frame. To maintain consistency, we propose the Spatiotemporally Consistent RoPE (STC-RoPE), which inherently establishes robust spatiotemporal anchors to strictly preserve complex human motions and background dynamics. Optimized by the proposed Gradual Try-On (GTO) training strategy, our model progressively masters robust multi-object synthesis. Extensive experiments on TryAny-Bench demonstrate that OmniTryOn significantly outperforms existing specialized video virtual try-on models and general video editing baselines, establishing a powerful new standard for the Try-On Anything task. Our dataset, code, and models are available at https://github.com/xcltql666/OminTryOn.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.08514v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.