arXiv:2404.16748

TELA: Text to Layer-wise 3D Clothed Human Generation

Junting Dong, Qi Fang, Zehuan Huang, Xudong Xu, Jingbo Wang, Sida Peng, Bo Dai

제출 2024-04-25

원문 초록

This paper addresses the task of 3D clothed human generation from textural descriptions. Previous works usually encode the human body and clothes as a holistic model and generate the whole model in a single-stage optimization, which makes them struggle for clothing editing and meanwhile lose fine-grained control over the whole generation process. To solve this, we propose a layer-wise clothed human representation combined with a progressive optimization strategy, which produces clothing-disentangled 3D human models while providing control capacity for the generation process. The basic idea is progressively generating a minimal-clothed human body and layer-wise clothes. During clothing generation, a novel stratified compositional rendering method is proposed to fuse multi-layer human models, and a new loss function is utilized to help decouple the clothing model from the human body. The proposed method achieves high-quality disentanglement, which thereby provides an effective way for 3D garment generation. Extensive experiments demonstrate that our approach achieves state-of-the-art 3D clothed human generation while also supporting cloth editing applications such as virtual try-on. Project page: http://jtdong.com/tela_layer/

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22924v1cs.CV공통 태그 Disentanglement, Virtual Try-on

레이어링 가상 착용

Layering Virtual Try-On

실세계에서 패션은 레이어링에 관한 것이다. 셔츠 위에 재킷을 더하거나, 단일 층 교체가 아니라 층을 순차적으로 추가하고 제거하는 일이다. 이러한 근본적인 실세계 과제는 단일 층 교체에는 뛰어나지만, 기존 의상에 층을 더하거나 벗기도록 설계되지 않은 기존 가상 착용(VTON) 방법에서는 여전히 과제로 남아 있다. 본 논문은 기존 의상을 보존하면서 순차적 레이어링을 가능하게 하는 레이어링 벤치마크 및 방법인 Layering Virtual Try-On(LVTON)을 제안한다. 현재 VTON 패러다임은 cloth-agnostic 표현과 단일 아이템 데이터셋에 의존하여 필수적인 레이어링 맥락을 버리기 때문에 LVTON에 근본적으로 부적합함을 발견했다. 핵심 통찰은 LVTON 과제를 두 가지 별개의 역량으로 분리해야 한다는 것이다: (1) 일반 VTON 사전지식(예: 변형, 정체성 보존)과 (2) 특화 레이어링 지식(예: 레이어링 순서 및 가림(occlusion) 추론). 먼저, 우리 모델은 세그멘테이션(segmentation)과 인페인팅(inpainting)을 통해 패션 비디오로부터 샘플을 합성하는 자동 데이터 생성 파이프라인이 생산한 데이터로 학습하여 일반 VTON 사전지식을 얻는다. 둘째, 모델은 레이어링 논리를 학습하기 위해 소규모 전용 LVTON 데이터셋에서 파인튜닝(fine-tuning)된다. 우리 방법은 LVTON 벤치마크에서 최신(state-of-the-art) 결과를 달성하고, 전통적인 VTON 벤치마크에서 우수한 일반화 성능을 보여주며, 파인튜닝 시 새로운 최신 결과를 설정하고 제로샷(zero-shot) 능력을 나타낸다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.