PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22941v1cs.CV

D3GS: 희소 뷰 재구성을 위한 깊이, DINO, RGB 디퓨전 공동 가이드 3D 가우시안 스플래팅

D3GS: Depth, DINO, and RGB Diffusion Co-Guided 3D Gaussian Splatting for Sparse-View Reconstruction

희소 입력으로부터의 새로운 시점 합성(novel view synthesis)은 모호한 기하 구조, 뷰 간 불일치, 그리고 제약이 부족한 영역에서의 디테일 누락으로 인해 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)에서 여전히 어려운 과제이며, 이는 재구성 품질 저하와 불안정한 렌더링으로 이어진다. 이러한 문제를 해결하기 위해, 우리는 기하 구조와 외형(appearance)을 동시에 개선하는 Depth-DINO-Diffusion 가이드 기반 희소 뷰 가우시안 재구성 프레임워크인 D$^{3}$GS를 제안한다. D$^{3}$GS는 먼저 디퓨전 기반 완성(completion)과 DPT(Dense Prediction Transformer) 정제(refinement)를 통해 고해상도의 미터법(metric) 깊이 맵을 복원하여, 강건한 가우시안 초기화와 기하학적 제약을 제공한다. 이어서, DINO 기반 뷰 일관성 학습(view-consistent learning)을 도입하여 가우시안 속성(attribute)에 구조적 특징을 추가함으로써 다중 뷰 일관성을 향상시킨다. 마지막으로, 디퓨전 기반 가우시안 정제 모듈이 생성적 사전 정보(generative prior)를 반복적 최적화(iterative optimization) 전략에 주입하여, 가우시안 표현 내의 고주파 기하 및 외형 디테일을 향상시킨다. DTU, LLFF, Mip-NeRF 360 데이터셋(dataset)에서의 실험 결과, D$^{3}$GS는 강력한 베이스라인(baseline) 대비 일관되고 상당한 성능 향상을 달성하였으며, 어블레이션 연구(ablation study)를 통해 각 구성 요소의 효과성과 상호 보완적 역할이 검증되었다.