arXiv:2609.11722v1 cs.CV

아바타-애즈-이미지(Avatar-As-Image) 재고: 고충실도 정합만으로 충분하다

Revisiting Avatar-As-Image: High-Fidelity Registration is All You Need

Margaret Kostyrko, Yuxuan Xue, Garvita Tiwari, Gerard Pons-Moll

제출 2026-09-10

한국어 초록

기저 인체 모델(body model) 위에 표준화된 2D UV 텍스처 및 변위 맵(displacement map) 형태로 3D 착의 인체를 표현하는 방식은 오랫동안 연구되어 왔습니다. 이러한 간결한 표현 방식은 사전학습된 이미지 네트워크가 3D 아바타를 처리, 생성 및 편집할 수 있도록 지원하여 매력적이지만, 스캔 데이터가 정밀하게 정렬되고 고충실도 정합(high-fidelity registration)을 통해 대응 관계가 형성되어야만 유용합니다. 이러한 전제 조건은 지금까지 충족된 적이 없으며, 우리는 이것이 착의 인체 대상의 기존 UV 기반 방법들의 품질이 제한적이었던 이유라고 주장합니다. 그 중요성에도 불구하고, 임의의 착의 스캔 데이터로부터 UV 텍스처를 갖춘 고충실도 SMPL(-X)+D 정합을 생성하는 공개 방법은 존재하지 않습니다. 본 논문에서는 이러한 간극을 메우기 위해 다단계 최적화(optimization) 파이프라인인 AvaImg를 제시합니다. 이는 부호화 감김 수(signed winding numbers)를 통해 의복 내부 신체(body-inside-clothing) 제약 조건을 적용하며, 3단계 효율성 캐스케이드를 통해 실현 가능하게 만들고(~10배 실행 시간 단축, ~95% 저장 공간 절약), 조밀(coarse-to-fine) 변위 최적화를 사용하여 미세한 표면 디테일을 복원합니다. AvaImg는 6개 데이터셋 전반에서 바디 피팅, 형상 추정 및 표면 정합 면에서 모든 베이스라인을 능가하여 스캔과 거의 구분할 수 없는 텍스처 정합 결과(PSNR=34.48dB)를 제공합니다. 이미지 파운데이션 모델과 즉각 호환되는 AvaImg의 아바타-애즈-이미지 표현을 검증(validation)하기 위해, 동결된 FLUX VAE를 통해 UV 맵을 오토인코딩합니다. 이는 스캔 대비 단 0.76mm의 챔퍼 오차(Chamfer error) 증가만을 달성하며, 결과 맵이 자연 이미지 분포 내에 위치함을 보여주어 3D 아바타 생성을 위한 2D 생성 사전확률(generative priors)의 활용을 뒷받침합니다. 코드, 데이터 및 Singularity 컨테이너는 https://yuxuan-xue.com/avaimg 에서 제공될 예정입니다.

원문 초록

The representation of 3D clothed humans as standardized 2D UV texture and displacement maps over an underlying body model has long been studied. This compact representation is enticing as it enables pretrained image networks to process, generate, and edit 3D avatars, but is only useful if scans are accurately aligned and brought into correspondence via high-fidelity registration. This prerequisite has never been met, which we argue explains the limited quality of prior UV-based methods for clothed humans. Despite its significance, no public method produces high-fidelity SMPL(-X)+D registrations with UV texture from arbitrary clothed scans. We present AvaImg, a multi-stage optimization pipeline, to close this gap: it enforces body-inside-clothing constraint via signed winding numbers, made viable by a three-level efficiency cascade (~10x runtime reduced, ~95% storage saved), and recovers fine surface detail using coarse-to-fine displacement optimization. AvaImg outperforms all baselines in body fitting, shape estimation, and surface registration across six datasets, yielding textured registrations near-indistinguishable from scans (PSNR=34.48dB). For validation of AvaImg's Avatar-as-Image representation as imminently compatible with image foundation models, we auto-encode our UV maps via the frozen FLUX VAE. This achieves only 0.76mm added Chamfer error relative to scan and shows that the resulting maps lie within natural-image distributions, supporting the use of 2D generative priors for 3D avatar generation. Code, data, and Singularity containers will be at https://yuxuan-xue.com/avaimg.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.11722v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.