arXiv:2409.08207

VI3DRM:Towards meticulous 3D Reconstruction from Sparse Views via Photo-Realistic Novel View Synthesis

Hao Chen, Jiafu Wu, Ying Jin, Jinlong Peng, Xiaofeng Mao, Mingmin Chi, Mufeng Yao, Bo Peng, Jian Li, Yun Cao

제출 2024-09-12

원문 초록

Recently, methods like Zero-1-2-3 have focused on single-view based 3D reconstruction and have achieved remarkable success. However, their predictions for unseen areas heavily rely on the inductive bias of large-scale pretrained diffusion models. Although subsequent work, such as DreamComposer, attempts to make predictions more controllable by incorporating additional views, the results remain unrealistic due to feature entanglement in the vanilla latent space, including factors such as lighting, material, and structure. To address these issues, we introduce the Visual Isotropy 3D Reconstruction Model (VI3DRM), a diffusion-based sparse views 3D reconstruction model that operates within an ID consistent and perspective-disentangled 3D latent space. By facilitating the disentanglement of semantic information, color, material properties and lighting, VI3DRM is capable of generating highly realistic images that are indistinguishable from real photographs. By leveraging both real and synthesized images, our approach enables the accurate construction of pointmaps, ultimately producing finely textured meshes or point clouds. On the NVS task, tested on the GSO dataset, VI3DRM significantly outperforms state-of-the-art method DreamComposer, achieving a PSNR of 38.61, an SSIM of 0.929, and an LPIPS of 0.027. Code will be made available upon publication.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03599v1cs.CV공통 태그 Disentanglement, 3D Reconstruction, Novel View Synthesis

ManifoldSplat: 언어 유도 기반 3D 가우시안 헤드 아바타의 시맨틱 형상 편집

ManifoldSplat: Language-Guided Semantic Shape Editing of 3D Gaussian Head Avatars

고충실도(High-fidelity) 3D 헤드 아바타는 실사에 가까운 품질에 도달했습니다. 최근 방식들은 텍스트 기반 조작을 가능하게 하지만, 특징들이 서로 얽히거나 기하학적 일관성이 결여되는 경우가 많아 세밀한 국소적 제어를 제공하는 데 어려움을 겪고 있습니다. 자연어를 통해 기하학적 구조를 수정하는 것은 현재 프롬프트(prompt)별 느린 최적화를 필요로 하거나 정체성(identity) 및 리깅(rigging)을 저해합니다. 본 논문에서는 단안 비디오에서 재구성된 애니메이션 가능한 3D 가우시안 스플래팅(3D Gaussian Splatting) 아바타에 대해, 언어 유도 기반 시맨틱 형상 편집을 수행하는 최초의 엔드투엔드(end-to-end) 프레임워크인 ManifoldSplat을 제시합니다. 비정형 가우시안 클라우드를 직접 최적화하는 대신 정형화된 FLAME 다양체(manifold) 내에서 편집을 수행함으로써, 정체성과 애니메이션을 엄격하게 보존합니다. 또한 피드포워드 형상 델타를 제공하는 영역별 얽힘 해제 조건부 변이형 오토인코더(CVAE)인 DeltaRegion과 함께, 시점 일관적인 세부 사항을 복원하기 위한 정제 단계를 도입합니다. ManifoldSplat은 소비자용 GPU에서 아바타를 약 90초 만에 재구성 및 편집하며, 약 800 FPS로 렌더링합니다. 광범위한 평가를 통해 본 접근법이 국소적 프롬프트 정렬, 기하학적 일관성, 정체성 보존 측면에서 새로운 SOTA(state-of-the-art)를 달성함을 입증합니다. 프로젝트 페이지 및 코드: https://a-canela.github.io/manifoldsplat/

arXiv:2610.01876v1cs.CV공통 태그 Disentanglement, 3D Reconstruction, Novel View Synthesis

EvenSplat: 노출 및 조명 변화 환경의 가우시안 스플래팅을 위한 결합형 2D-3D 분해

EvenSplat: Coupled 2D-3D Decomposition for Gaussian Splatting under Exposure and Illumination Variation

균일한 조명 아래에서 촬영된 표면은 어느 각도에서 보아도 거의 동일한 외관을 나타내지만, 불균일한 조명 아래의 동일한 표면은 그렇지 않습니다. 시점 간에 노출이 변하고, 단일 이미지 내에서도 조명이 달라지며, 국소적으로 강한 광원은 한 영역을 밝게 만드는 동시에 인접 영역에는 그림자를 남깁니다. 3D 가우시안 스플래팅(3D Gaussian Splatting)과 같은 다중 뷰 재구성 기법들은 이러한 조명 아티팩트를 마치 장면 자체의 고유한 속성인 것처럼 취급하여, 촬영 환경에 특화된 조명을 복원되는 기하학적 구조 및 색상과 얽히게 만듭니다. 본 논문에서는 이 둘을 분리하는 프레임워크인 EvenSplat을 제안합니다. EvenSplat은 이미지 공간의 조명 분해를 가우시안이 지닌 조명 필드와 결합하여, 장면의 2차원 및 3차원 뷰 간에 동일한 조명 해석이 공유되도록 합니다. 또한 카메라 응답 네트워크와 국소 노출 보상 모듈은 학습(training) 이미지 전반에 걸쳐 남아 있는 전역적 및 잔차 차이를 흡수합니다. 실제 촬영 및 시뮬레이션 벤치마크 기반의 여러 데이터셋과 다양한 형태의 불균일한 조명(시점 간 노출, 공간적 조명 변화, 고대비 조명)에 걸친 광범위한 실험을 통해, EvenSplat은 특히 고대비 조명 환경에서 기존 최첨단(SOTA) 방법들보다 전반적으로 우수한 성능을 보입니다.

arXiv:2607.22673v1cs.GR공통 태그 Disentanglement, 3D Reconstruction, Novel View Synthesis

URHead: 헤드 아바타의 메시-3DGS 공동 최적화를 위한 통합 UV 공간 표현

URHead: A Unified UV-Space Representation for Joint Mesh-3DGS Optimization in Head Avatars

우리는 메시-가우시안 통합을 근본적으로 재정의하는 고충실도·애니메이션 가능 헤드 아바타를 위한 통합 표현인 URHead를 제안한다. 메시 기반 방법은 정밀한 기하학적 제어를 제공하지만 사실적인 디테일이 부족한 반면, 가우시안 기반 접근법은 사실성을 달성하지만 구조적 일관성이 부족하며, 기존 하이브리드 솔루션은 각 접근법의 상호 보완적 강점을 충분히 활용하지 못한다. 핵심 기여는 두 표현이 공통 UV 파라미터화를 공유하는 UV 공간 통합이다. 적응형 가우시안 샘플링을 통한 공동 최적화를 통해, 본 방법은 각 구성 요소에 적절한 역할을 자동으로 분리하고 할당하는 것을 학습한다. URHead는 대상자 고유의 디테일을 보존하면서 완전한 파라미터 제어 가능성을 유지하며, 재구성 품질과 애니메이션 일관성에서 기존 최신(state-of-the-art) 방법들을 능가한다.

arXiv:2607.20922v1cs.CV공통 태그 Disentanglement, 3D Reconstruction, Novel View Synthesis

FA-LAM: 원샷 4D 애니메이션 가능 가우시안 헤드를 위한 포커스 인식 대형 아바타 모델

FA-LAM: Focus-Aware Large Avatar Model for One-Shot 4D Animatable Gaussian Head

우리는 원샷 애니메이션 가능 가우시안 헤드 생성을 위한 포커스 인식 대형 아바타 모델(FA-LAM)을 제안하며, 동시에 정적 3D 및 동적 4D 전체 헤드 복원을 가능하게 한다. 우리 방법의 핵심은 기존 최신(state-of-the-art) 접근법들이 채택한 어텐션 메커니즘과 얽혀 있는 재구성 및 애니메이션 학습 파이프라인에 대한 철저한 분석에 있다. 우리의 분석은 3D 전체 헤드 생성 품질을 저해하는 두 가지 주요 요인을 밝혀낸다: (1) 부정확하고 노이즈가 많은 어텐션 활성화, (2) 재구성과 애니메이션 작업 간의 충돌. 첫 번째 문제를 해결하기 위해, 우리는 인간 머리의 고유한 의미론과 구조적 대칭성을 활용하는 대칭적이고 의미 기반의 어텐션 정규화 전략을 도입한다. 재구성과 애니메이션의 목표를 분리하기 위해, 우리는 넓은 시야각 환각(hallucination)과 애니메이션을 위한 모델의 능력을 별도의 모듈로 분리하는 새로운 이단계(dual-phase) 학습 파이프라인을 개발한다. 또한, 맞춤형 가시성 인식 토큰 융합을 갖춘 핵심 자기회귀(autoregressive) 수정을 통해 다중 시점 및 스트리밍 4D 재구성을 효율적이고 메모리 친화적인 방식으로 지원하도록 모델을 개선한다. 종합적으로, 이러한 혁신들은 FA-LAM이 특히 세밀한 얼굴 영역과 큰 시야각에서 우수한 품질로 애니메이션 가능한 가우시안 전체 헤드를 재구성할 수 있게 한다.

arXiv:2610.15807v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis

Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리

Totem: Object-Centric 3D Memory for World-Consistent Video Generation

통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.

arXiv:2610.13503v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.