MVGS: 새로운 시점 합성을 위한 다중 뷰 조절 Gaussian Splatting
MVGS: Multi-view Regulated Gaussian Splatting for Novel View Synthesis
최근 볼륨 렌더링(volume rendering) 분야의 연구들, 예를 들어 NeRF와 3D Gaussian Splatting(3DGS)은, 학습된 암시적 신경 복사장(implicit neural radiance field) 또는 3D Gaussian의 도움으로 렌더링 품질과 효율성을 크게 향상시켰다. 명시적 표현 위에서 렌더링하는 vanilla 3DGS와 그 변형들은 NeRF에서 채택된 바와 같이 학습 중 각 반복마다 단일 뷰 감독으로 모델을 최적화함으로써 실시간 효율성을 제공한다. 그 결과 특정 뷰에 과적합이 발생하여, 새로운 시점 합성에서 만족스럽지 않은 외관과 부정확한 3D geometry가 나타난다. 이러한 문제를 해결하기 위해, 우리는 네 가지 핵심 기여를 담은 새로운 3DGS 최적화 방법을 제안한다: 1) 우리는 기존의 단일 뷰 학습 패러다임을 다중 뷰 학습 전략으로 전환한다. 제안하는 다중 뷰 조절(multi-view regulation)을 통해 3D Gaussian 속성이 특정 학습 뷰에 과적합되지 않도록 추가로 최적화된다. 일반적인 해결책으로서, 다양한 시나리오와 서로 다른 Gaussian 변형에서 전반적인 정확도를 향상시킨다. 2) 추가 뷰가 가져오는 이점에서 영감을 받아, 우리는 cross-intrinsic guidance scheme을 추가로 제안하며, 이는 서로 다른 해상도에 관한 coarse-to-fine 학습 절차로 이어진다. 3) 다중 뷰 조절 학습 위에 구축하여, 우리는 cross-ray densification 전략을 추가로 제안한다. 이는 선택된 여러 뷰의 광선 교차(ray-intersect) 영역에 더 많은 Gaussian kernel을 densify한다. 4) densification 전략을 추가로 조사한 결과, 특정 뷰들이 극적으로 크게 상이할 때 densification 효과를 강화해야 함을 발견했다. 이에 대한 해결책으로, 3D Gaussian이 충분한 수까지 densify되도록 장려하는 새로운 다중 뷰 증강 densification 전략을 제안하며, 그 결과 재구성 정확도가 향상된다.