GaussianAnything: Interactive Point Cloud Flow Matching For 3D Object Generation
원문 초록
While 3D content generation has advanced significantly, existing methods still face challenges with input formats, latent space design, and output representations. This paper introduces a novel 3D generation framework that addresses these challenges, offering scalable, high-quality 3D generation with an interactive Point Cloud-structured Latent space. Our framework employs a Variational Autoencoder (VAE) with multi-view posed RGB-D(epth)-N(ormal) renderings as input, using a unique latent space design that preserves 3D shape information, and incorporates a cascaded latent flow-based model for improved shape-texture disentanglement. The proposed method, GaussianAnything, supports multi-modal conditional 3D generation, allowing for point cloud, caption, and single image inputs. Notably, the newly proposed latent space naturally enables geometry-texture disentanglement, thus allowing 3D-aware editing. Experimental results demonstrate the effectiveness of our approach on multiple datasets, outperforming existing native 3D methods in both text- and image-conditioned 3D generation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DreamStyle3D: 이중 어텐션 분리를 통한 효율적인 3D 스타일화 에셋 생성
DreamStyle3D: Efficient 3D Stylized Asset Generation via Dual-Attention Disentanglement
게이밍, 애니메이션, 가상현실(VR) 산업의 성장과 함께 스타일화된 3D 에셋의 효율적 생성에 대한 수요가 빠르게 증가하고 있다. 그러나 기존 접근법들은 대부분 간접적인 2D-to-3D 스타일화 파이프라인에 의존하고 있어, 스타일 충실도, 기하학적 일관성, 생성 효율성을 동시에 유지하는 데 여전히 어려움을 겪고 있다. 이는 효율성을 유지하면서 스타일과 기하학을 명시적으로 분리(disentangle)할 수 있는 네이티브 3D 스타일화 프레임워크의 필요성을 제기한다. 이를 위해, 우리는 Decoupled Dual Cross-Attention 메커니즘을 기반으로 구축된 스타일화 3D 에셋 생성을 위한 효율적인 프레임워크인 DreamStyle3D를 제안한다. 우리 방법은 구조적 일관성을 유지하면서 효율적인 스타일 주입을 가능하게 하기 위해 기하학적 특징과 스타일 특징을 명시적으로 분리하며, 또한 스타일 일관성과 모델 일반화를 향상시키기 위해 경량 학습 전�ategy를 채택한다. 또한, 우리는 자동화된 데이터 파이프라인을 구축하고 학습 및 평가를 위해 약 15K개의 콘텐츠-스타일-스타일화 삼중항(triplet) 데이터셋을 구성한다. 광범위한 실험을 통해, DreamStyle3D가 10초 이내에 고충실도의 기하학적으로 일관된 스타일화 3D 에셋을 생성할 수 있음을 보여주며, 우수한 스타일 품질을 유지하면서 효율성을 크게 향상시키고 3D 콘텐츠 제작을 위한 새로운 해결책을 제공한다. 코드와 데이터는 https://github.com/HVision-NKU/DreamStyle3D 에서 이용할 수 있다.
ISAP-3D: 정체성-슬롯 정렬 파트 인식 3D 생성
ISAP-3D: Identity-Slot Aligned Part-Aware 3D Generation
파트 인식(part-aware) 3D 생성은 의미론적으로 유의미한 구성 요소를 갖춘 구조화된 객체를 합성하는 것을 목표로 하지만, 정체성-레이아웃 얽힘(identity-layout entanglement)으로 인해 구조적 모호성을 자주 겪는다. 기존 방법들은 부분 정체성과 공간적 레이아웃을 암묵적으로 추론하여 불안정한 부분 할당(예: 슬롯 스와핑(slot swapping) 또는 부분 병합)으로 이어질 수 있거나, 실무에서 얻기 어려운 강한 레이아웃 조건에 의존한다. 우리는 이러한 모호성의 원인을 정체성-슬롯 순열 자유도(identity-slot permutation freedom)에 두며, 명시적인 정체성-슬롯 정렬 없이는 학습(training) 중 의미론적 부분과 생성 슬롯 간의 대응 관계를 식별할 수 없어 동일한 지도(supervision)에 여러 슬롯 할당이 맞아들어 일관되지 않은 분해로 이어진다고 본다. 이 통찰을 바탕으로, 안정적인 파트 인식 생성을 위해서는 정체성 정렬 1대1 슬롯 모델링이 필요하다고 주장한다. 따라서 우리는 각 부분을 의미론적 정체성 토큰(identity token)으로 고정하고, 정체성 조건부 1대1 레이아웃 예측을 수행한 뒤 레이아웃 조건부 기하 합성을 이어가는 정체성-슬롯 정렬 프레임워크인 ISAP-3D를 제안한다. 구조화된 로컬-글로벌 조건부(local-global conditioning)는 의미론적, 공간적, 기하학적 단계 전반에 걸쳐 정체성 정렬을 유지한다. 또한 학습 가능하고 일관된 정체성-슬롯 정렬을 가능하게 하기 위해 통일된 의미론 프로토콜을 갖춘 부분 수준 데이터셋(dataset)을 구축한다. 광범위한 실험을 통해 최신(state-of-the-art) 파트 인식 생성 baseline 대비 구조적 안정성, 제어 가능성, 견고성이 향상됨을 보인다.
PhysX: Physical-Grounded 3D Asset Generation
Adversarial Disentanglement by Backpropagation with Physics-Informed Variational Autoencoder
Dual-View Disentangled Multi-Intent Learning for Enhanced Collaborative Filtering
Instruction-Tuned Video-Audio Models Elucidate Functional Specialization in the Brain
토론
이 논문과 연결된 포럼 글이 아직 없습니다.