Instant 3D Human Avatar Generation using Image Diffusion Models
원문 초록
We present AvatarPopUp, a method for fast, high quality 3D human avatar generation from different input modalities, such as images and text prompts and with control over the generated pose and shape. The common theme is the use of diffusion-based image generation networks that are specialized for each particular task, followed by a 3D lifting network. We purposefully decouple the generation from the 3D modeling which allow us to leverage powerful image synthesis priors, trained on billions of text-image pairs. We fine-tune latent diffusion networks with additional image conditioning for image generation and back-view prediction, and to support qualitatively different multiple 3D hypotheses. Our partial fine-tuning approach allows to adapt the networks for each task without inducing catastrophic forgetting. In our experiments, we demonstrate that our method produces accurate, high-quality 3D avatars with diverse appearance that respect the multimodal text, image, and body control signals. Our approach can produce a 3D model in as few as 2 seconds, a four orders of magnitude speedup wrt the vast majority of existing methods, most of which solve only a subset of our tasks, and with fewer controls. AvatarPopUp enables applications that require the controlled 3D generation of human avatars at scale. The project website can be found at https://www.nikoskolot.com/avatarpopup/.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ELSA3D: 통합 3D 이해 및 생성을 위한 탄력적 의미론적 앵커링
ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation
통합 3D 파운데이션 모델은 단일 백본 내에서 3D 에셋을 생성하고 언어로 추론하는 것을 목표로 하지만, 텍스트-3D 상호작용은 여전히 대체로 암묵적인 수준에 머물러 있다. 기존 방법들은 텍스트와 3D 토큰을 평탄한 시퀀스로 연결하고 셀프 어텐션(self-attention)에 의존하여, 거친 구조적 단서와 세밀한 기하학적 세부사항을 하나의 미분화된 표현으로 축소해 버린다. 우리는 일치하는 추상화 스케일에 맞춰 언어 및 기하학적 추론을 공동으로 구조화하는 탄력적 의미론적 앵커링(elastic semantic anchoring)을 통해 이 문제를 해결하는 통합 3D 모델인 ELSA3D를 소개한다. ELSA3D는 스케일 인식 옥트리 토크나이저를 사용해 기하학적 구조를 표현하며, 희소 크로스 모달 단위인 앵커 토큰(Anchor Tokens)을 도입한다. 이 토큰은 의미론적 단서를 선택하고, 이를 가장 관련성이 높은 3D 스케일로 라우팅하며, 스케일별 기하학적 증거를 검색하고, 융합된 신호를 통합 표현에 다시 기록함으로써 상호작용을 희소하면서도 정밀하게 유지한다. 경량 블록별 라우터는 계산과 추론 모두를 탄력적으로 만들어, 어떤 텍스트 토큰이 어느 기하학적 스케일에서 앵커를 인스턴스화할지 선택함으로써 정렬이 가장 필요한 곳에 크로스 모달 용량이 집중되도록 한다. ELSA3D는 이미지-to-3D 생성, 텍스트-to-3D 생성, 3D 캡셔닝 전반에 걸쳐 최고 수준(state-of-the-art)의 성능을 달성하며, 동일 모델의 비탄력적 버전 대비 FLOPs와 추론 지연 시간을 약 절반으로 줄이면서도 가장 강력한 통합 기준선을 능가한다.
구조화된 패치 잠재 흐름을 활용한 융합 인지 직접 3D 가우시안 생성
Fusion-Aware Direct 3D Gaussian Generation with Structured Patch Latent Flows
클래스 조건부(class-guided) 3D 객체 생성은 지능형 콘텐츠 제작, 가상 환경, 디지털 에셋 디자인에서 중요합니다. 3D 가우시안 스플래팅(3DGS)은 명시적이고 렌더링 효율적인 표현 방식을 제공하지만, 가우시안 프리미티브(Gaussian primitive)가 순서가 없고 크기가 가변적이며 국소적으로 밀집되어 있고 렌더링에 매우 민감하기 때문에 3D 가우시안 객체를 직접 생성하는 것은 어렵습니다. 기존의 3DGS 생성 방법들은 주로 다중 뷰 합성, 재구성, 또는 승격된(lifted) 2D 사전 확률(prior)에 의존하여, 3D 가우시안 객체의 본질적인 구조적 분포를 모델링하기보다는 관측된 뷰의 정보를 주로 융합합니다. 본 논문에서는 렉티파이드 플로우(rectified flow)를 통해 클래스 조건부 3DGS를 직접 생성하기 위한 융합 인지(fusion-aware) 계층적 가우시안 패치 표현을 제안합니다. 불규칙한 가우시안 집합은 정규 국소 패치로 분해되어 구조화된 토큰으로 인코딩됩니다. 그 결과 형성된 계층적 잠재 공간(latent space)은 전역 클래스 의미론(semantics), 패치 수준의 기하학 및 외형, 공간적 대응성, 렌더링 민감 단서들을 융합합니다. 이를 바탕으로, 패치 위치 조건화, 전역-국소 결합 속도 예측, 밀도 인지 속도 가중치를 갖춘 구조 인지 렉티파이드 플로우 모델을 설계하여 수 초 내에 클래스 조건부 3DGS 객체를 잠재 공간에서 직접 생성할 수 있도록 합니다. 또한 렌더링 피드백 융합 전략을 통해 잠재 흐름 학습을 디코딩된 다중 뷰 렌더링 품질과 추가로 정렬합니다. 실험 결과에 따르면, 제안된 방법은 기준선 잠재 생성 모델들에 비해 더 일관된 기하학적 구조, 더 선명한 국소 세부 표현, 더 뛰어난 다중 뷰 일관성을 갖춘 3D 가우시안 객체를 생성합니다. 소거 연구(ablation study)를 통해 전반적인 실용적 샘플링 효율성을 유지하면서 계층적 정보 융합, 전역-국소 결합, 밀도 인지 지도(supervision), 렌더링 피드백 학습의 기여도를 확인했습니다.
Hallo4D: 일관적 시공간 생성을 위한 멀티모달 환각 완화
Hallo4D: Multi-Modal Hallucination Mitigation for Consistent Spatio-Temporal Generation
최근 3D 생성의 발전으로 인상적인 시각적 합성이 가능해졌지만, 기존 방법들은 기하학적 일관성을 위한 명시적 메커니즘 없이 2D 확산(diffusion) 감독에 의존하는 경우가 많아, 중복된 구조나 어긋난 기하학과 같은 공간적 환각을 유발한다. 4D 생성에서는 시점과 시간적 진화에 걸친 일관성 유지가 추가적인 도전을 불러오며, 여기에는 지터(jitter), 정체성 깜빡임(identity flicker), 구조적 드리프트(structural drift) 등이 포함되어 이러한 문제가 더욱 심각해진다. 우리는 3D 및 4D 콘텐츠 생성에서 시공간적 환각을 완화하기 위한 통합적이고 모델 불가지(model-agnostic) 프레임워크인 Hallo4D를 제안한다. Hallo4D는 생성-탐지-보정(generation-detection-correction) 패러다임을 도입하며, 대규모 멀티모달 언어 모델(LMM)을 활용하여 다중 시점(multi-view) 및 다중 프레임 렌더링으로부터 공간적·시간적 불일치를 식별하고 요약한다. 이러한 통찰은 합의 기반 이미지 공간 일관성 최적화를 이끌며, LMM 기반 선택기가 다중 모델 투표를 통해 후보 보정을 평가하고, 재학습이나 아키텍처 수정을 요구하지 않는다. 시간적 일관성과 최적화 효율을 더욱 향상시키기 위해 Hallo4D는 모션 인식 키프레임 샘플링, LMM 안내 초기화, 외형 정렬을 통합한다. 또한 어려운 시점에서의 견고성을 높이기 위해 노출 인식 최적화와 가시성 가지치기를 도입한다. 광범위한 실험을 통해 Hallo4D가 다양한 3D 및 4D 생성 설정에서 강력한 베이스라인을 지속적으로 능가함을 보여주며, 일관성 인식 콘텐츠 생성을 위한 확장 가능하고 일반화 가능한 해법을 제공한다.
DiffGI: 고충실도 박각(thin-shell) 3D 생성을 위한 미분 가능 기하 이미지(Differentiable Geometry Images)
DiffGI: Differentiable Geometry Images for High-Fidelity Thin-Shell 3D Generation
기존 3D 생성 모델은 대부분 암시적 부피 표현에 의존하며, 이는 watertight 위상을 강제하고 의류와 같은 박각(thin-shell) 및 비매니폴드(non-manifold) 기하를 표현하는 데 어려움이 있다. Geometry image 기반 접근법은 표면 중심의 대안을 제공하지만, 기존 방법은 이산 이진 점유 맵에 의존하며, 해상도 의존적 경계 인코딩으로 계단 현상(artifact)과 다운샘플링 시 정보 손실을 유발한다. 또한 표면 재구성은 학습 파이프라인과 분리된 미분 불가능한 사후처리 단계로 남아 있다. 이를 해결하기 위해, 표면 표현과 기하 최적화를 원활하게 통합하는 end-to-end 3D-to-2D 매핑 프레임워크인 미분 가능 기하 이미지(Differentiable Geometry Image, DiffGI)를 제안한다. DiffGI는 이진 맵을 연속 2D 절단 부호 거리 함수(Truncated Signed Distance Function, TSDF)로 대체하며, 고정 그리드 해상도 내에서 서브픽셀 정밀도로 경계 위치를 인코딩하여 공격적인 다운샘플링 하에서도 해상도 의존적 계단 현상을 제거한다. 이 연속 필드를 기반으로, 해석적 선형 보간에 기반한 미분 가능 Marching Squares 알고리즘을 도입하여 3D 표면 손실로부터의 기울기가 2D 잠재 공간으로 역전파되도록 한다. 이 미분 가능 파이프라인을 활용하여, 기하 인식 법선 렌더링 손실로 보강한 DiffGI-VAE를 학습하여 복잡한 3D 표면을 초소형 32×32 잠재 공간으로 압축하고, 이 공간 위에 flow-matching 목적함수를 갖는 트랜스포머 기반 잠재 확산 모델을 구현하여 조건부 3D 생성을 수행한다. 의류 및 객체 데이터셋에 대한 광범위한 실험을 통해, 제안 방법이 기존 geometry-image 및 복셀 기반 접근법 대비 우수한 재구성 충실도와 경계 정밀도를 달성하면서도 계산 자원을 훨씬 적게 필요로 함을 보여준다.
Compos3D: 생성형 3D 모델에서 창의적 제어를 위한 상호작용형 파트 기반 조합
Compos3D: Interactive Part-Based Composition for Creative Control in Generative 3D Models
생성형 AI가 3D 콘텐츠 제작에 새로운 기회를 열어 주었지만, 현재 워크플로는 종종 여러 차례 재생성에 의존하며, 이는 제한적인 제어와 예측하기 어려운 결과를 초래한다. 우리는 리믹싱(remixing)을 통해 생성형 3D 모델링을 위한 조합적 워크플로를 도입하는 시스템인 Compos3D를 제안한다. 모델을 반복적으로 재생성하는 대신, 사용자는 텍스트 또는 이미지 프롬프트(prompt)로 여러 후보를 생성하고, 2D 이미지 영역 또는 3D 메시(mesh) 세그먼트를 통해 관심 있는 부분을 선택하여 이를 일관된 디자인으로 조립한다. 이 시스템은 고수준 의도를 보존하면서 저수준 기하학을 해결하여 이러한 조합을 정제된 3D 모델로 합성한다. 이 접근법을 평가하기 위해, 2D와 3D 모달리티(modality) 모두에서 리믹싱과 재생성 워크플로를 비교하는 통제된 사용자 연구를 수행했다. 결과에 따르면, 리믹싱 워크플로는 참가자에게 더 큰 창의적 제어, 의도와의 더 강한 정렬(alignment), 그리고 더 높은 만족도를 제공했다. 우리는 향후 AI 보조 3D 모델링 워크플로에 대한 디자인 권고사항으로 마무리한다.
Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어
Paint-Anything: Unified Any-Color Control for Image Generation and Editing
전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.