Select-and-Combine (SAC): A Novel Multi-Stereo Depth Fusion Algorithm for Point Cloud Generation via Efficient Local Markov Netlets
원문 초록
Many practical systems for image-based surface reconstruction employ a stereo/multi-stereo paradigm, due to its ability to scale for large scenes and its ease of implementation for out-of-core operations. In this process, multiple and abundant depth maps from stereo matching must be combined and fused into a single, consistent, and clean point cloud. However, the noises and outliers caused by stereo matching and the heterogenous geometric errors of the poses present a challenge for existing fusion algorithms, since they mostly assume Gaussian errors and predict fused results based on data from local spatial neighborhoods, which may inherit uncertainties from multiple depths resulting in lowered accuracy. In this paper, we propose a novel depth fusion paradigm, that instead of numerically fusing points from multiple depth maps, selects the best depth map per point, and combines them into a single and clean point cloud. This paradigm, called select-and-combine (SAC), is achieved through modeling the point level fusion using local Markov Netlets, a micro-network over point across neighboring views for depth/view selection, followed by a Netlets collapse process for point combination. The Markov Netlets are optimized such that they can inherently leverage spatial consistencies among depth maps of neighboring views, thus they can address errors beyond Gaussian ones. Our experiment results show that our approach outperforms existing depth fusion approaches by increasing the F1 score that considers both accuracy and completeness by 2.07% compared to the best existing method. Finally, our approach generates clearer point clouds that are 18% less redundant while with a higher accuracy before fusion
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Sparse-GS2Mesh: 희소 시점 표면 재구성을 위한 새로운 스테레오 시점 및 2DGS 기반 3D 가우시안 스플래팅
Sparse-GS2Mesh: 3D Gaussian Splatting Guided by Novel Stereo Views and 2DGS for Sparse View Surface Reconstruction
희소 시점(sparse-view) 환경에서의 표면 재구성(surface reconstruction)은 제한적인 기하학적 단서로 인해 여전히 어려운 과제로 남아 있습니다. 부호화 거리 함수(SDF) 기반의 볼륨 렌더링 방식은 지나치게 매끄러운 표면을 생성하는 경향이 있는 반면, 3D 가우시안 스플래팅(3DGS)은 시간 효율적이지만 신뢰할 수 있는 깊이 감독(depth supervision)의 부재와 주어진 입력 시점에서만 최적화된다는 한계로 인해 불완전한 기하학적 구조를 갖는 문제가 있습니다. 본 논문에서는 희소 시점으로부터의 표면 재구성을 위한 스테레오 인식 프레임워크인 Sparse-GS2Mesh를 제안합니다. 3DGS와 스테레오 매칭은 밀집 시점 환경에서 표면 재구성에 활용되어 왔으나, 본 연구에서는 3DGS의 과적합(overfitting) 문제를 완화하기 위해 에피폴라 깊이 사전확률(epipolar depth priors)을 사용해 3DGS를 먼저 초기화한 후 세 가지 핵심 요소를 적용함으로써 희소 시점 조건에서도 효과적으로 작동하도록 확장합니다: (I) 적응형 기준선(baseline) 선택, (II) 스테레오 매칭 네트워크를 활용한 미세조정(fine-tuning), 그리고 (III) 2D/3D 공동 정규화(regularization) 미세조정입니다. 에피폴라 깊이로 초기화되어 웜업된 3DGS가 주어지면, 적응형 기준선 선택 모듈은 각 희소 시점에 대해 합성할 기준선을 자동으로 결정합니다. 그런 다음 스테레오 매칭 네트워크로부터 깊이 정제 그래디언트를 역전파하여 3DGS를 미세조정함으로써, 스테레오 매칭에 특화되도록 3DGS를 효과적으로 조정합니다. 2D/3D 공동 정규화는 가까운 스테레오 시점에서의 취약한 기하학적 단서 문제를 해결하여 안정적인 재구성을 얻을 수 있도록 돕습니다. Sparse-GS2Mesh는 중첩이 거의 없는 설정에서 최고 수준(SOTA)의 방법들 대비 15%의 성능 향상을 달성하며, 중첩이 큰 설정에서도 대등한 결과를 보여줍니다. 코드는 공개될 예정입니다.
GSurf: 고품질 3D 재구성을 위한 불투명 가우시안 스플래팅으로부터 부호 거리 필드 학습
GSurf: Learning Signed Distance Fields from Splatting Opaque Gaussians for High-quality 3D Reconstruction
다중 시점 이미지로부터의 고충실도 표면 재구성은 3D 컴퓨터 비전의 핵심 문제이다. SDF와 같은 신경 암시적 표면(neural implicit surface)은 부드러운 기하 구조를 제공하지만, 볼륨 렌더링의 높은 연산 비용이 병목으로 작용한다. 반면 3D 가우시안 스플래팅(3DGS)은 빠른 학습을 제공하지만 기하 연속성이 부족하여 종종 분절된 표면을 야기한다. 본 논문은 부호 거리 필드(Signed Distance Field, SDF)를 스플래팅 파이프라인에 직접 통합하는 새로운 프레임워크를 제안한다. SDF의 연속적 특성을 활용하여 가우시안 프리미티브를 정규화함으로써, 본 방법은 희소 포인트 클라우드에 내재된 기하학적 구멍을 효과적으로 채우고 노이즈를 억제한다. 무거운 볼륨 샘플링에 의존하는 하이브리드 방식과 달리, 본 접근법은 스플래팅의 효율성을 활용하여 더 빠른 수렴을 달성한다. 광범위한 평가를 통해 본 방법이 상당히 적은 수의 프리미티브로 고품질 표면을 생성하며, 실내외 환경 모두에 대해 더 간결하고 효율적인 표현을 제공함을 입증한다.
NumGrad-Pull: 포인트 클라우드에서의 표면 재구성을 위한 수치 그래디언트 가이드 트라이-플레인 표현
NumGrad-Pull: Numerical Gradient Guided Tri-plane Representation for Surface Reconstruction from Point Clouds
방향 및 순서 정보가 없는 3D 포인트에서 연속 표면을 재구성하는 것은 컴퓨터 비전 및 그래픽스에서의 근본적인 과제입니다. 최근 연구들은 신경망이 예측한 부호 거리와 해석적(analytical) 그래디언트를 따라 3D 위치 쿼리를 표면 위의 가장 가까운 점으로 끌어당기도록 신경 부호 거리 함수(neural signed distance function, SDF)를 학습시킴으로써 이 문제를 해결합니다. 본 논문에서는 트라이-플레인(tri-plane) 구조의 표현 능력을 활용하여 SDF 학습을 가속화하고 표면 재구성에서 로컬 세부 사항의 충실도를 높이는 NumGrad-Pull을 소개합니다. 그리드 기반 트라이-플레인의 학습 안정성을 더욱 향상시키기 위해, 기존의 해석적 계산을 대체하는 수치 그래디언트(numerical gradient) 활용을 제안합니다. 또한, SDF의 빠른 수렴을 촉진하는 점진적 플레인 확장 전략을 제시하고, 재구성 아티팩트를 완화하기 위한 데이터 샘플링 전략을 설계합니다. 이러한 구성 요소들은 트라이-플레인 기반의 통합된 풀링(pulling) 프레임워크에 시너지적으로 통합되며, 수치 그래디언트, 점진적 확장, 상보적 샘플링이 방향 없는 포인트 클라우드에서의 SDF 학습에서 발생하는 지역성 및 희소성(sparsity) 문제를 공동으로 해결합니다. 다양한 벤치마크에 걸친 광범위한 실험을 통해 본 접근법의 효과성과 견고성을 입증합니다. 코드는 https://github.com/cuiruikai/numgrad-pull 에서 확인할 수 있습니다.
ESMStereo: Enhanced ShuffleMixer Disparity Upsampling for Real-Time and Accurate Stereo Matching
Learning Robust Stereo Matching in the Wild with Selective Mixture-of-Experts
Anti-Aliased 2D Gaussian Splatting
토론
이 논문과 연결된 포럼 글이 아직 없습니다.