arXiv:2611.21867v1 cs.CV

FaceRiff: 기하 조건화를 통한 데이터 효율적인 통합 텍스트-3D 얼굴 에셋 합성

FaceRiff: Data-Efficient Unified Text-to-3D Face Asset Synthesis via Geometric Conditioning

Elly Akhoundi, Mathieu Lamarre, Thibault Goyallon, Patrick Anderson, \'Etienne Danvoye

제출 2026-11-18

한국어 초록

일관된 UV 매핑 기하, 알베도, 물리 기반 변위를 갖춘 고해상도 얼굴 데이터셋은 드물지만, 이러한 에셋은 사실적인 디지털 휴먼 렌더링에 필수적이다. 기존 3D 얼굴 생성 방법은 느리거나, 단일 모달리티이거나, 대규모 특수 데이터셋을 요구하는 경우가 많다. 한편 대형 이미지 확산 모델은 강한 얼굴 사전 분포를 담고 있지만, 조명에 독립적인 텍스처, 모공 수준의 변위, UV에 정렬된 기하를 기본적으로 생성하지 못한다. 우리는 공유 UV 공간에서 텍스트로부터 직접 완전한 3D 얼굴 에셋(메시, 알베도, 변위)을 생성하는 통합적이고 데이터 및 매개변수 효율적인 프레임워크 FaceRiff를 제시한다. FaceRiff는 사전 학습된 SDXL 백본을 작업별 LoRA 어댑터로 적응시키고 UV 노멀 맵을 기하 조건화로 사용한다. 인스턴스별 노멀은 알베도와 변위 합성을 안내하고, 데이터셋 평균 노멀은 메시 생성을 위한 정규 공간 앵커를 제공한다. 약 350명의 신원에서 얻은 2,049개의 스캔만을 사용하고 단일 GPU에서 학습하여, FaceRiff는 작업당 백본 매개변수의 3% 미만만 갱신하며 인스턴스별 최적화 없이 렌더링에 바로 쓸 수 있는 3D 얼굴 에셋을 생성한다. FaceG2E 및 DreamFace와 비교하여 FaceRiff는 프롬프트 정합성과 고정 위상 UV 일관성을 유지하면서 프롬프트당 더 큰 다양성을 생성하며, 이에 더해 PBR 재조명에 적합한 조명 독립적 알베도와 기존 텍스트 기반 기준선에는 없던 모공 수준의 변위를 생성한다. 업계 전문가 45명을 대상으로 한 블라인드 연구에서 FaceRiff는 DreamFace보다 훨씬 높은 지각된 사실성을 달성하며 실제 촬영물에 근접하였다. 종합하면 FaceRiff는 사전 학습된 확산 사전 분포를 제한된 데이터 하에서도 통합 3D 얼굴 에셋 합성에 적응시킬 수 있음을 보여 준다.

원문 초록

High-resolution facial datasets with consistent UV-mapped geometry, albedo, and physically based displacement are scarce, yet such assets are essential for photorealistic digital-human rendering. Existing 3D face generation methods are often slow, single-modality, or require large specialized datasets. Meanwhile, large image diffusion models encode strong facial priors but do not natively produce lighting-independent textures, pore-scale displacement, or UV-aligned geometry. We present FaceRiff, a unified, data- and parameter-efficient framework for generating complete 3D face assets (mesh, albedo, and displacement) directly from text in a shared UV space. FaceRiff adapts a pretrained SDXL backbone with task-specific LoRA adapters and uses UV normal maps as geometric conditioning: per-instance normals guide albedo and displacement synthesis, while a dataset-mean normal provides a canonical spatial anchor for mesh generation. Using only 2,049 scans from approximately 350 identities and training on a single GPU, FaceRiff updates less than 3% of the backbone parameters per task and produces render-ready 3D face assets without per-instance optimization. Compared with FaceG2E and DreamFace, FaceRiff produces greater per-prompt diversity while preserving prompt alignment and fixed-topology UV consistency, and additionally generates lighting-independent albedo suitable for PBR relighting and pore-scale displacement absent from prior text-driven baselines. A blind study with 45 industry professionals shows that FaceRiff achieves substantially higher perceived realism than DreamFace, approaching that of real captures. Overall, FaceRiff demonstrates that pretrained diffusion priors can be adapted to unified 3D face asset synthesis under limited data.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21867v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.