4DGS-Fixer: 비디오 확산 prior가 안내하는 반복 정제 기반 생성형 희소 시점 4D Gaussian Splatting
4DGS-Fixer: Generative Sparse-View 4D Gaussian Splatting with Iterative Refinement Guided by Video Diffusion Priors
본 논문은 희소 시점 동영상으로부터 동적 장면을 합성할 때의 어려움을 다룬다. 기존 방법들은 희소 관측 하에서 4D Gaussian 모델링을 개선하기 위해 기하학적 prior, 적응적 최적화, 또는 밀도 제어 전략을 사용한다. 그러나 관측이 부족하고 장면 정보가 빠져 발생하는 ill-posed 문제를 근본적으로 해결하지는 못한다. 더욱이 희소 시점 4D Gaussian Splatting(4DGS)은 종종 기하학적 초기화가 나쁜 문제를 겪는다. 입력 시점이 몇 개뿐이면 COLMAP은 보통 희소하고 불완전한 포인트 클라우드를 복원하여, 장면의 넓은 영역에 Gaussian 지원이 충분하지 않게 남고 이후 최적화로도 복구하기 어렵다. 이러한 한계를 해결하기 위해, 우리는 동적 4D 장면의 완전성과 일관성을 높이기 위해 비디오 확산 모델 기반의 새로운 반복 정제 프레임워크를 제안한다. 구체적으로, 먼저 다시점 깊이 맵을 추정하고 이를 융합해 동적 4DGS 표현을 위한 보다 완전한 기하학적 초기화를 제공하는 밀집 포인트 클라우드를 만든다. 이어서 사전학습된 비디오 복원 모델로 서로 다른 시간 단계에서 novel camera trajectory를 따라 렌더링한 시퀀스를 정제한다. 복원된 시퀀스는 의사 감독(pseudo-supervision)으로 작용하여 4DGS 표현을 정규화하고 반복적으로 정제한다. 널리 쓰이는 벤치마크 데이터셋에서의 실험은, 제안 방법이 기존 baseline을 크게 능가하며 이전 최고 성능 방법 대비 PSNR이 거의 2 dB 향상됨을 보여준다.