arXiv:2404.09591

3D Gaussian Splatting as Markov Chain Monte Carlo

Shakiba Kheradmand, Daniel Rebain, Gopal Sharma, Weiwei Sun, Jeff Tseng, Hossam Isack, Abhishek Kar, Andrea Tagliasacchi, Kwang Moo Yi

제출 2024-04-15

원문 초록

While 3D Gaussian Splatting has recently become popular for neural rendering, current methods rely on carefully engineered cloning and splitting strategies for placing Gaussians, which can lead to poor-quality renderings, and reliance on a good initialization. In this work, we rethink the set of 3D Gaussians as a random sample drawn from an underlying probability distribution describing the physical representation of the scene-in other words, Markov Chain Monte Carlo (MCMC) samples. Under this view, we show that the 3D Gaussian updates can be converted as Stochastic Gradient Langevin Dynamics (SGLD) updates by simply introducing noise. We then rewrite the densification and pruning strategies in 3D Gaussian Splatting as simply a deterministic state transition of MCMC samples, removing these heuristics from the framework. To do so, we revise the 'cloning' of Gaussians into a relocalization scheme that approximately preserves sample probability. To encourage efficient use of Gaussians, we introduce a regularizer that promotes the removal of unused Gaussians. On various standard evaluation scenes, we show that our method provides improved rendering quality, easy control over the number of Gaussians, and robustness to initialization.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2405.10705v2eess.IV공통 태그 Neural Rendering공식 코드 · Papers with Code

혈관 확률 유도 감쇠 학습을 통한 희소 뷰 동적 DSA 영상에서의 3D 혈관 재구성

3D Vessel Reconstruction from Sparse-View Dynamic DSA Images via Vessel Probability Guided Attenuation Learning

디지털 소거 혈관 조영술(DSA)은 혈관 질환 진단의 표준(gold standard) 중 하나입니다. 조영제(contrast agent)의 도움을 받아 시간 분해 2D DSA 영상은 포괄적인 혈류 정보를 제공하며, 의학적 평가를 위해 3D 혈관 구조를 재구성하는 데 활용될 수 있습니다. 현재 상용 DSA 시스템은 재구성을 수행하기 위해 일반적으로 수백 개의 스캔 뷰가 필요하며, 이로 인해 상당한 방사선 노출이 발생합니다. 본 연구에서는 방사선 양을 줄이기 위해 고품질 희소 뷰(sparse-view) DSA 재구성에 맞춰진 신경 렌더링 기반 최적화 프레임워크를 제안합니다. 혈관 확률 유도 감쇠 학습(vessel probability guided attenuation learning)이라고 불리는 우리의 접근 방식은 DSA 영상을 시간 독립적인 혈관 확률 필드에서 유도된 가중치를 통해 정적 및 동적 감쇠 필드의 상호 보완적인 가중 조합으로 표현합니다. 전경 마스크(foreground mask)로 기능하는 혈관 확률은 다양한 장면 유형에 적응하는 정적 및 동적 필드 모두에 적절한 그라디언트를 제공합니다. 이 메커니즘은 정적 배경과 동적 조영제 흐름 간의 자기 지도(self-supervised) 분해를 가능하게 하며, 재구성 품질을 크게 향상시킵니다. 우리의 모델은 합성된 투영(projection)과 실제 캡처된 DSA 영상 간의 불일치를 최소화하여 학습됩니다. 또한, 우리는 재구성 품질을 향상시키기 위해 두 가지 학습 전략을 사용합니다: (1) 더 나은 기하학을 위한 거칠게에서 정교하게(coarse-to-fine) 점진적 학습, (2) 시간적 일관성을 위한 시간적 섭동 렌더링 손실(temporal perturbed rendering loss). 실험 결과는 고품질의 3D 혈관 재구성 및 2D DSA 영상 합성을 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.