arXiv:2609.21176v1 cs.CV

4DGS-Fixer: 비디오 확산 prior가 안내하는 반복 정제 기반 생성형 희소 시점 4D Gaussian Splatting

4DGS-Fixer: Generative Sparse-View 4D Gaussian Splatting with Iterative Refinement Guided by Video Diffusion Priors

Haitao Huang, Shenghao Zhao, Boyuan Tian, Shin-Fang Chng, Songlin Yang, Sheila Lim, Huangying Zhan, Yi Xu, Anyi Rao, Frank Guan

제출 2026-09-21

한국어 초록

본 논문은 희소 시점 동영상으로부터 동적 장면을 합성할 때의 어려움을 다룬다. 기존 방법들은 희소 관측 하에서 4D Gaussian 모델링을 개선하기 위해 기하학적 prior, 적응적 최적화, 또는 밀도 제어 전략을 사용한다. 그러나 관측이 부족하고 장면 정보가 빠져 발생하는 ill-posed 문제를 근본적으로 해결하지는 못한다. 더욱이 희소 시점 4D Gaussian Splatting(4DGS)은 종종 기하학적 초기화가 나쁜 문제를 겪는다. 입력 시점이 몇 개뿐이면 COLMAP은 보통 희소하고 불완전한 포인트 클라우드를 복원하여, 장면의 넓은 영역에 Gaussian 지원이 충분하지 않게 남고 이후 최적화로도 복구하기 어렵다. 이러한 한계를 해결하기 위해, 우리는 동적 4D 장면의 완전성과 일관성을 높이기 위해 비디오 확산 모델 기반의 새로운 반복 정제 프레임워크를 제안한다. 구체적으로, 먼저 다시점 깊이 맵을 추정하고 이를 융합해 동적 4DGS 표현을 위한 보다 완전한 기하학적 초기화를 제공하는 밀집 포인트 클라우드를 만든다. 이어서 사전학습된 비디오 복원 모델로 서로 다른 시간 단계에서 novel camera trajectory를 따라 렌더링한 시퀀스를 정제한다. 복원된 시퀀스는 의사 감독(pseudo-supervision)으로 작용하여 4DGS 표현을 정규화하고 반복적으로 정제한다. 널리 쓰이는 벤치마크 데이터셋에서의 실험은, 제안 방법이 기존 baseline을 크게 능가하며 이전 최고 성능 방법 대비 PSNR이 거의 2 dB 향상됨을 보여준다.

원문 초록

This paper addresses the challenges of dynamic scene synthesis from sparse-view videos. Existing methods employ geometric priors, adaptive optimization, or density-control strategies to improve 4D Gaussian modeling under sparse observations. However, they cannot fundamentally resolve the ill-posed problem caused by insufficient observations and missing scene information. Moreover, sparse-view 4D Gaussian Splatting (4DGS) often suffers from poor geometric initialization: with only a few input views, COLMAP typically reconstructs sparse and incomplete point clouds, leaving large scene regions without sufficient Gaussian support and making them difficult to recover through subsequent optimization. To address these limitations, we propose a novel iterative refinement framework based on a video diffusion model to improve the completeness and consistency of dynamic 4D scenes. Specifically, we first estimate multi-view depth maps and fuse them into dense point clouds to provide more complete geometric initialization for a dynamic 4DGS representation. We then employ a pretrained video restoration model to refine sequences rendered along novel camera trajectories at different time steps. The restored sequences serve as pseudo-supervision to regularize and iteratively refine the 4DGS representation. Experiments on a widely used benchmark dataset demonstrate that our method substantially outperforms existing baselines, achieving nearly a 2 dB PSNR improvement over the previous best-performing method.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.21176v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.