Per Garment Capture and Synthesis for Real-time Virtual Try-on
원문 초록
Virtual try-on is a promising application of computer graphics and human computer interaction that can have a profound real-world impact especially during this pandemic. Existing image-based works try to synthesize a try-on image from a single image of a target garment, but it inherently limits the ability to react to possible interactions. It is difficult to reproduce the change of wrinkles caused by pose and body size change, as well as pulling and stretching of the garment by hand. In this paper, we propose an alternative per garment capture and synthesis workflow to handle such rich interactions by training the model with many systematically captured images. Our workflow is composed of two parts: garment capturing and clothed person image synthesis. We designed an actuated mannequin and an efficient capturing process that collects the detailed deformations of the target garments under diverse body sizes and poses. Furthermore, we proposed to use a custom-designed measurement garment, and we captured paired images of the measurement garment and the target garments. We then learn a mapping between the measurement garment and the target garments using deep image-to-image translation. The customer can then try on the target garments interactively during online shopping.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Oxygen-TryOn: 모든 아이템 가상 착용을 위한 패션 특화 기반 모델
Oxygen-TryOn: Fashion-Native Foundation Model for Any-item Virtual Try-On
우리는 모든 아이템 가상 착용을 위한 통합 기반 모델인 Oxygen-TryOn을 제시한다. 범용 이미지 편집기를 재활용하는 대신, Oxygen-TryOn은 전용 데이터 엔진과 가상 착용 특화 학습을 통해 가상 착용을 위해 구축된 패션 특화 모델이다. 하나 이상의 참조 아이템(깨끗한 제품 샷 또는 실제 환경의 착용 사진)과 단일 대상 인물 이미지가 주어지면, 사실상 모든 패션 카테고리에 걸쳐 해당 아이템을 착용한 인물의 사실적인 이미지를 합성한다. 기존 시스템은 스튜디오 환경에서 단일 의류 카테고리만 다루었고, 최근의 다중 참조 방법들도 여전히 의류 중심이다. 반면 Oxygen-TryOn은 전신 및 반신 뷰, 가변적인 수의 참조, 자유로운 다중 아이템 구성을 포함한 다양한 아이템과 시나리오를 지원하면서, 인물의 정체성과 아이템 외형을 모두 충실히 보존한다. 마스크 기반 인페인팅 대신, 우리는 가상 착용을 다중 참조, 이해 기반 생성 작업으로 재정의한다. 우리는 대규모로 고품질 가상 착용 데이터를 수집·제작·주석·필터링하는 데이터 엔진을 구축하고, 지속적 사전학습(CPT), 지도 미세조정(SFT), 강화학습(RL)의 3단계 레시피를 설계한다. RL 단계는 사내 가상 착용 보상 모델과 독점적인 루브릭 기반 범용 모델을 결합한 하이브리드 보상을 사용하여, 세밀한 일관성과 지시 수준의 품질을 공동으로 감독한다. 또한 동일한 패스에서 일반적인 편집 지시(예: 포즈 변경)도 따른다. 공개 벤치마크와 사내 Oxygen-TryOn Bench 전반에서, 단일 아이템 가상 착용에서 최첨단 일관성과 사실성을 달성하고 다중 아이템 가상 착용에서 선두를 차지하며, 선도적인 독점 시스템(Nano Banana Pro, GPT-Image-2, Seedream5 Lite)과 오픈소스 모델(FLUX.2) 모두와 동등하거나 그 이상의 성능을 보인다.
WearWow: 적응형 토큰 패킹과 선호도 정렬을 통한 네이티브 2K 다중 의류 가상 착용
WearWow: Native 2K Multi-Garment Virtual Try-On via Adaptive Token Packing and Preference Alignment
네이티브 2K 다중 의류 가상 착용을 합성하는 것은 디지털 패션 분야의 어려운 최전선 과제이며, 두 가지 근본적 한계에 의해 심각하게 병목을 겪고 있다: 2K 조건으로 인해 발생하는 O(N^2) 메모리 폭발, 그리고 고주파 직물 디테일을 과도하게 평활화하는 확산 모델의 스펙트럴 바이어스(spectral bias). 우리는 초고해상도 다중 의류 합성을 개척하는 end-to-end, 마스크 없는(mask-free) 생성 프레임워크인 WearWow를 제안한다. 메모리 폭발을 완화하기 위해 적응형 2D 토큰 패킹(Adaptive 2D Token Packing, ATP)을 제안한다. ATP는 의류 고유의 희소성을 활용하여 이질적인 아이템을 통합 2D 캔버스에 알고리즘적으로 패킹하고 정보가 없는 배경 토큰을 가지치기하여, 2D 공간 사전(prior)을 엄격히 보존하면서 유효 시퀀스 길이와 그에 따른 메모리 오버헤드를 최소화한다. 텍스처 저하를 교정하기 위해 다차원 가상 착용 보상(Multi-dimensional Try-on Reward, MTR) 시스템을 도입한다. MTR은 촉각적 복원을 명시적으로 유도하는 의미적 가이던스 보상(Semantic Guidance Reward)과 물리적 분포를 암묵적으로 고정하는 의류 분포 보상(Cloth Distribution Reward)을 시너지시키며, 이 공동 공식화는 심각한 보상 해킹(reward hacking)을 효과적으로 완화한다. 또한 네이티브 2K 트리플릿으로 구성된 극고품질 데이터셋 WearWow-2K를 큐레이션하여, 물리적으로 올바른 공간 상호작용을 제공하고 이는 자연스럽게 모델의 마스크 없는 생성을 강화한다. 광범위한 실험을 통해 WearWow가 네이티브 2K 다중 의류 합성에서 기존 상용 베이스라인을 능가하며 새로운 state-of-the-art를 확립함을 보여준다.
TAMF-VTON: 고충실도 이미지 합성 기반 텍스처 인식 무마스크 가상 착용
TAMF-VTON: Texture-Aware Mask-Free Virtual Try-On via High-Fidelity Image Synthesis
최근 확산(diffusion) 기반 가상 착용(VTON) 방법은 분할 마스크(segmentation mask)에 대한 의존, 세밀한 텍스처 보존의 부족, 임의의 다중 의류 구성에 대한 제한적 지원으로 인해 여전히 한계가 있다. 따라서 기존 접근법은 실제 전자상거래 배포에서 여전히 상당한 어려움에 직면한다. 우리는 실용적인 비제약 조건에서 고충실도 이미지 합성을 가능하게 하는 텍스처 인식, 마스크 없는 프레임워크인 TAMF-VTON을 제시한다. 우리 방법은 추론 시 인간 파싱(human parsing)이나 인페인팅(inpainting) 마스크를 필요로 하지 않으며, 다양한 의류 스타일, 카테고리, 수량을 지원하여 신체 구조와 정교한 텍스처 디테일을 보존하면서 여러 의류를 동시에 착용시킬 수 있다. 이는 세 가지 핵심 구성 요소를 갖춘 통합 생성 파이프라인을 통해 달성된다: (1) 기본 모델의 일반 편집 능력을 훼손하지 않으면서 효율적인 미세조정을 가능하게 하는 경량 전문가 혼합(MoE) 적응 방식; (2) 고충실도 텍스처를 보존하기 위해 고주파 스펙트럼 일관성을 명시적으로 최적화하는 주파수 영역 감독 메커니즘; (3) 고품질 학습 쌍 생성을 위해 역 VTON 과정을 시뮬레이션하는 적응형 인페인팅 전략을 사용하는 견고한 데이터 큐레이션 파이프라인. 광범위한 실험을 통해 우리 접근법이 정량적 지표와 지각적 품질 모두에서 최신(state-of-the-art) 방법들을 능가함을 보여준다. 효율성을 위해 최적화된 이 모델은 INT4 양자화 하에서 NVIDIA RTX 4090에서 이미지당 15초 미만의 추론을 달성한다. 마스크 없는 동작, 유연한 다중 의류 구성, 충실한 텍스처 보존, 소비자 하드웨어에서의 효율적 추론을 결합함으로써, TAMF-VTON은 실제 디지털 패션 시나리오에서 확장 가능한 배포를 위한 상업적으로 실행 가능한 솔루션임을 보여준다. 프로젝트는 https://www.style3d.ai/ai-photoshoot/virtual-clothing-try-on 에서 이용할 수 있다.
빠르고 고충실도 가상 착용을 위한 구조-세부사항 분리 자기회귀 생성
Structure-Detail Decoupled Autoregressive Generation for Fast and High-Fidelity Virtual Try-On
가상 착용(Virtual Try-On, VTON)은 정확한 인물 보존뿐만 아니라 충실한 의상 변형 및 세부 합성을 동시에 요구하는 이중 조건 이미지 생성 문제입니다. 확산(diffusion) 기반 VTON 방법은 압축된 잠재 공간에서 이러한 요소들을 함께 모델링할 수 있지만, 비용이 높은 다단계 노이즈 제거 과정에서도 고유한 잠재 압축으로 인해 고주파 세부 정보 손실이 발생합니다. 최근의 시각적 자기회귀(Visual Autoregressive, VAR) 모델은 빠른 추론으로 고품질 생성을 위한 유망한 대안을 제공하지만, 효과적인 이중 조건화 메커니즘의 부재로 인해 VTON에 대한 탐색이 이루어지지 않았습니다. 이 격차를 해소하기 위해, 우선 VAR 기반 VTON 모델인 VAR-VTON을 소개합니다. 이 모델은 효율적인 잠재 공간 VTON을 위해 의상 조건화와 구조적 가이던스를 통합합니다. 그 효과에도 불구하고, 잠재 공간 생성은 여전히 세밀한 의상 세부 정보를 보존하는 데 어려움을 겪습니다. 우리는 서로 다른 VTON 하위 작업이 서로 다른 표현 공간에서 다루어져야 한다고 주장합니다: 의상 워핑(warping) 및 인물 레이아웃과 같은 구조적 합성은 잠재 공간에 적합한 반면, 세밀한 세부 정보 복원은 픽셀 공간에서 처리되어야 합니다. 이러한 통찰에서 영감을 받아, 잠재 공간 구조 합성과 픽셀 공간 세부 정보 복원을 분리하는 2단계 자기회귀(Two-Stage AutoRegressive) 프레임워크인 STAR-VTON을 추가로 제안합니다. STAR-VTON은 VAR-VTON을 기반으로 하며, 매칭 정보 기반 정제기(matching-informed refiner)를 활용하여 1단계 생성 결과와 원본 의상 간의 밀집 대응 관계를 확립함으로써 세밀한 픽셀 공간 세부 정보를 직접 매핑합니다. 광범위한 실험을 통해 STAR-VTON이 인상적인 효율성-충실도 균형을 달성함을 보여줍니다: VAR-VTON은 품질 저하 없이 확산 기반 대응 방법보다 최소 4배 빠르게 실행되며, 픽셀 공간 정제기는 세밀한 세부 정보를 효과적으로 복원하고 기존 VTON 접근 방식에도 이점을 제공하는 플러그 앤 플레이(plug-and-play) 모듈로 작동합니다.
Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어
Paint-Anything: Unified Any-Color Control for Image Generation and Editing
전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.
우리가 감정 편집에 대해 이야기할 때 말하는 것
What We Talk About When We Talk About Emotion Editing
감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.