FashionComposer: Compositional Fashion Image Generation
원문 초록
We present FashionComposer for compositional fashion image generation. Unlike previous methods, FashionComposer is highly flexible. It takes multi-modal input (i.e., text prompt, parametric human model, garment image, and face image) and supports personalizing the appearance, pose, and figure of the human and assigning multiple garments in one pass. To achieve this, we first develop a universal framework capable of handling diverse input modalities. We construct scaled training data to enhance the model's robust compositional capabilities. To accommodate multiple reference images (garments and faces) seamlessly, we organize these references in a single image as an "asset library" and employ a reference UNet to extract appearance features. To inject the appearance features into the correct pixels in the generated result, we propose subject-binding attention. It binds the appearance features from different "assets" with the corresponding text features. In this way, the model could understand each asset according to their semantics, supporting arbitrary numbers and types of reference images. As a comprehensive solution, FashionComposer also supports many other applications like human album generation, diverse virtual try-on tasks, etc.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Fashion-3DLR: 지능형 설계를 위한 쌍별 패션 요소 기반 제어 가능한 3D 의류 생성
Fashion-3DLR: A Controllable 3D Garment Generation Using Pairwise Fashion Elements for Intelligent Design
AI 생성 콘텐츠(AIGC)는 상당한 발전을 이루었으며, 2D 생성 모델은 디지털 패션 산업에서 바로 사용할 수 있는 도구가 되었다. 그러나 3D 의류 생성은 아직 초기 단계에 머물러 있으며, 패션 영역에서는 다양한 디자인 요소의 의미 정보가 3D 표현에서 복잡한 결합 관계를 보여 다양한 3D 의류를 생성하는 데 상당한 도전 과제를 제기한다. 본 연구에서는 위 문제를 해결하기 위해, 다양한 디자인 요소를 활용하여 고품질의 다목적 3D 의류 자산을 생성하는 새로운 3D 의류 생성 프레임워크인 Fashion-3DLR을 제안한다. 구체적으로, 서로 다른 패션 요소 간의 의미적 격차를 줄이기 위해, 스케치와 텍스처 등 2D 패션 디자인 요소를 잠재 공간(latent space)에 통합하는 Garment Feature Fusion Diffusion Transformer(GFF-DiT) 모듈을 제안한다. 잠재 공간 내에서는 rectified flow 트랜스포머를 사용하여 기하 잠재 표현을 생성하고, 이를 3D Gaussian과 mesh를 포함한 다양한 3D 의류 표현으로 디코딩할 수 있다. 또한 Fashion-3DLR을 하위 태스크에 통합하여, 3D Gaussian Splatting(3DGS) 기반 의류 물리 시뮬레이션과 mesh 기반 가상 착용(virtual try-on)을 구현하였다. 실험 결과, Fashion-3DLR은 기존 최신(state-of-the-art) 방법들을 능가하며, 제안된 방법이 물리 시뮬레이션과 가상 착용이 가능한 구조적으로 잘 형성된 비밀봉(non-watertight) 의류를 생성할 수 있음을 검증하여, 다목적 3D 의류 설계 도구로서의 잠재력을 보여준다.
Oxygen-TryOn: 모든 아이템 가상 착용을 위한 패션 특화 기반 모델
Oxygen-TryOn: Fashion-Native Foundation Model for Any-item Virtual Try-On
우리는 모든 아이템 가상 착용을 위한 통합 기반 모델인 Oxygen-TryOn을 제시한다. 범용 이미지 편집기를 재활용하는 대신, Oxygen-TryOn은 전용 데이터 엔진과 가상 착용 특화 학습을 통해 가상 착용을 위해 구축된 패션 특화 모델이다. 하나 이상의 참조 아이템(깨끗한 제품 샷 또는 실제 환경의 착용 사진)과 단일 대상 인물 이미지가 주어지면, 사실상 모든 패션 카테고리에 걸쳐 해당 아이템을 착용한 인물의 사실적인 이미지를 합성한다. 기존 시스템은 스튜디오 환경에서 단일 의류 카테고리만 다루었고, 최근의 다중 참조 방법들도 여전히 의류 중심이다. 반면 Oxygen-TryOn은 전신 및 반신 뷰, 가변적인 수의 참조, 자유로운 다중 아이템 구성을 포함한 다양한 아이템과 시나리오를 지원하면서, 인물의 정체성과 아이템 외형을 모두 충실히 보존한다. 마스크 기반 인페인팅 대신, 우리는 가상 착용을 다중 참조, 이해 기반 생성 작업으로 재정의한다. 우리는 대규모로 고품질 가상 착용 데이터를 수집·제작·주석·필터링하는 데이터 엔진을 구축하고, 지속적 사전학습(CPT), 지도 미세조정(SFT), 강화학습(RL)의 3단계 레시피를 설계한다. RL 단계는 사내 가상 착용 보상 모델과 독점적인 루브릭 기반 범용 모델을 결합한 하이브리드 보상을 사용하여, 세밀한 일관성과 지시 수준의 품질을 공동으로 감독한다. 또한 동일한 패스에서 일반적인 편집 지시(예: 포즈 변경)도 따른다. 공개 벤치마크와 사내 Oxygen-TryOn Bench 전반에서, 단일 아이템 가상 착용에서 최첨단 일관성과 사실성을 달성하고 다중 아이템 가상 착용에서 선두를 차지하며, 선도적인 독점 시스템(Nano Banana Pro, GPT-Image-2, Seedream5 Lite)과 오픈소스 모델(FLUX.2) 모두와 동등하거나 그 이상의 성능을 보인다.
WearWow: 적응형 토큰 패킹과 선호도 정렬을 통한 네이티브 2K 다중 의류 가상 착용
WearWow: Native 2K Multi-Garment Virtual Try-On via Adaptive Token Packing and Preference Alignment
네이티브 2K 다중 의류 가상 착용을 합성하는 것은 디지털 패션 분야의 어려운 최전선 과제이며, 두 가지 근본적 한계에 의해 심각하게 병목을 겪고 있다: 2K 조건으로 인해 발생하는 O(N^2) 메모리 폭발, 그리고 고주파 직물 디테일을 과도하게 평활화하는 확산 모델의 스펙트럴 바이어스(spectral bias). 우리는 초고해상도 다중 의류 합성을 개척하는 end-to-end, 마스크 없는(mask-free) 생성 프레임워크인 WearWow를 제안한다. 메모리 폭발을 완화하기 위해 적응형 2D 토큰 패킹(Adaptive 2D Token Packing, ATP)을 제안한다. ATP는 의류 고유의 희소성을 활용하여 이질적인 아이템을 통합 2D 캔버스에 알고리즘적으로 패킹하고 정보가 없는 배경 토큰을 가지치기하여, 2D 공간 사전(prior)을 엄격히 보존하면서 유효 시퀀스 길이와 그에 따른 메모리 오버헤드를 최소화한다. 텍스처 저하를 교정하기 위해 다차원 가상 착용 보상(Multi-dimensional Try-on Reward, MTR) 시스템을 도입한다. MTR은 촉각적 복원을 명시적으로 유도하는 의미적 가이던스 보상(Semantic Guidance Reward)과 물리적 분포를 암묵적으로 고정하는 의류 분포 보상(Cloth Distribution Reward)을 시너지시키며, 이 공동 공식화는 심각한 보상 해킹(reward hacking)을 효과적으로 완화한다. 또한 네이티브 2K 트리플릿으로 구성된 극고품질 데이터셋 WearWow-2K를 큐레이션하여, 물리적으로 올바른 공간 상호작용을 제공하고 이는 자연스럽게 모델의 마스크 없는 생성을 강화한다. 광범위한 실험을 통해 WearWow가 네이티브 2K 다중 의류 합성에서 기존 상용 베이스라인을 능가하며 새로운 state-of-the-art를 확립함을 보여준다.
TAMF-VTON: 고충실도 이미지 합성 기반 텍스처 인식 무마스크 가상 착용
TAMF-VTON: Texture-Aware Mask-Free Virtual Try-On via High-Fidelity Image Synthesis
최근 확산(diffusion) 기반 가상 착용(VTON) 방법은 분할 마스크(segmentation mask)에 대한 의존, 세밀한 텍스처 보존의 부족, 임의의 다중 의류 구성에 대한 제한적 지원으로 인해 여전히 한계가 있다. 따라서 기존 접근법은 실제 전자상거래 배포에서 여전히 상당한 어려움에 직면한다. 우리는 실용적인 비제약 조건에서 고충실도 이미지 합성을 가능하게 하는 텍스처 인식, 마스크 없는 프레임워크인 TAMF-VTON을 제시한다. 우리 방법은 추론 시 인간 파싱(human parsing)이나 인페인팅(inpainting) 마스크를 필요로 하지 않으며, 다양한 의류 스타일, 카테고리, 수량을 지원하여 신체 구조와 정교한 텍스처 디테일을 보존하면서 여러 의류를 동시에 착용시킬 수 있다. 이는 세 가지 핵심 구성 요소를 갖춘 통합 생성 파이프라인을 통해 달성된다: (1) 기본 모델의 일반 편집 능력을 훼손하지 않으면서 효율적인 미세조정을 가능하게 하는 경량 전문가 혼합(MoE) 적응 방식; (2) 고충실도 텍스처를 보존하기 위해 고주파 스펙트럼 일관성을 명시적으로 최적화하는 주파수 영역 감독 메커니즘; (3) 고품질 학습 쌍 생성을 위해 역 VTON 과정을 시뮬레이션하는 적응형 인페인팅 전략을 사용하는 견고한 데이터 큐레이션 파이프라인. 광범위한 실험을 통해 우리 접근법이 정량적 지표와 지각적 품질 모두에서 최신(state-of-the-art) 방법들을 능가함을 보여준다. 효율성을 위해 최적화된 이 모델은 INT4 양자화 하에서 NVIDIA RTX 4090에서 이미지당 15초 미만의 추론을 달성한다. 마스크 없는 동작, 유연한 다중 의류 구성, 충실한 텍스처 보존, 소비자 하드웨어에서의 효율적 추론을 결합함으로써, TAMF-VTON은 실제 디지털 패션 시나리오에서 확장 가능한 배포를 위한 상업적으로 실행 가능한 솔루션임을 보여준다. 프로젝트는 https://www.style3d.ai/ai-photoshoot/virtual-clothing-try-on 에서 이용할 수 있다.
빠르고 고충실도 가상 착용을 위한 구조-세부사항 분리 자기회귀 생성
Structure-Detail Decoupled Autoregressive Generation for Fast and High-Fidelity Virtual Try-On
가상 착용(Virtual Try-On, VTON)은 정확한 인물 보존뿐만 아니라 충실한 의상 변형 및 세부 합성을 동시에 요구하는 이중 조건 이미지 생성 문제입니다. 확산(diffusion) 기반 VTON 방법은 압축된 잠재 공간에서 이러한 요소들을 함께 모델링할 수 있지만, 비용이 높은 다단계 노이즈 제거 과정에서도 고유한 잠재 압축으로 인해 고주파 세부 정보 손실이 발생합니다. 최근의 시각적 자기회귀(Visual Autoregressive, VAR) 모델은 빠른 추론으로 고품질 생성을 위한 유망한 대안을 제공하지만, 효과적인 이중 조건화 메커니즘의 부재로 인해 VTON에 대한 탐색이 이루어지지 않았습니다. 이 격차를 해소하기 위해, 우선 VAR 기반 VTON 모델인 VAR-VTON을 소개합니다. 이 모델은 효율적인 잠재 공간 VTON을 위해 의상 조건화와 구조적 가이던스를 통합합니다. 그 효과에도 불구하고, 잠재 공간 생성은 여전히 세밀한 의상 세부 정보를 보존하는 데 어려움을 겪습니다. 우리는 서로 다른 VTON 하위 작업이 서로 다른 표현 공간에서 다루어져야 한다고 주장합니다: 의상 워핑(warping) 및 인물 레이아웃과 같은 구조적 합성은 잠재 공간에 적합한 반면, 세밀한 세부 정보 복원은 픽셀 공간에서 처리되어야 합니다. 이러한 통찰에서 영감을 받아, 잠재 공간 구조 합성과 픽셀 공간 세부 정보 복원을 분리하는 2단계 자기회귀(Two-Stage AutoRegressive) 프레임워크인 STAR-VTON을 추가로 제안합니다. STAR-VTON은 VAR-VTON을 기반으로 하며, 매칭 정보 기반 정제기(matching-informed refiner)를 활용하여 1단계 생성 결과와 원본 의상 간의 밀집 대응 관계를 확립함으로써 세밀한 픽셀 공간 세부 정보를 직접 매핑합니다. 광범위한 실험을 통해 STAR-VTON이 인상적인 효율성-충실도 균형을 달성함을 보여줍니다: VAR-VTON은 품질 저하 없이 확산 기반 대응 방법보다 최소 4배 빠르게 실행되며, 픽셀 공간 정제기는 세밀한 세부 정보를 효과적으로 복원하고 기존 VTON 접근 방식에도 이점을 제공하는 플러그 앤 플레이(plug-and-play) 모듈로 작동합니다.
CtrlVTON: 시각적 인스턴스 프롬프트 세그멘테이션을 통한 제어 가능한 가상 피팅
CtrlVTON: Controllable Virtual Try-On via Visual-Instance-Prompt Segmentation
가상 피팅(VTO)은 의류를 대상 인물에게 사실적으로 전이하는 데 있어 상당한 발전을 이루었다. 그러나 대부분의 시스템은 의류를 어떻게 착용할지—크기(여유 있게 또는 딱 맞게), 스타일(예: 집어 넣거나 빼거나, 열거나 닫거나), 신체 위의 공간적 배치—에 대한 사용자 제어를 거의 제공하지 않는다. 우리는 두 가지 상호 보완적인 기여로 이 간극을 해소한다. 첫째, VIP-SAM을 통해 시각적 인스턴스 프롬프트 세그멘테이션(Visual-Instance-Prompt Segmentation)을 정의하고 해결한다: 의류의 플랫레이 이미지가 주어졌을 때, 해당 의류를 착용한 사람의 사진에서 그 특정 인스턴스를 세그멘테이션한다. 이는 일반적으로 연구되는 카테고리 수준 세그멘테이션과 구별되는 인스턴스 수준의 태스크이다. 둘째, 피팅을 이미지 편집 문제로 재구성하고 스타일, 크기, 신체 위의 공간적 배치를 포함한 의류 레이아웃에 대한 픽셀 수준의 제어로 세그멘테이션 마스크를 추가하는 제어 가능한 VTO 프레임워크인 CtrlVTON을 소개한다. VIP-SAM과 CtrlVTON은 각자의 태스크에서 최첨단 결과를 달성한다. 특히 CtrlVTON은 의류 충실도에서 가장 강력한 독점 편집 시스템과 동등한 성능을 보이면서, 사용자가 제공한 레이아웃을 훨씬 더 충실하게 따르는 이미지를 생성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.