arXiv:2010.11378

Learning Occupancy Function from Point Clouds for Surface Reconstruction

Meng Jia, Matthew Kyan

제출 2020-10-22

원문 초록

Implicit function based surface reconstruction has been studied for a long time to recover 3D shapes from point clouds sampled from surfaces. Recently, Signed Distance Functions (SDFs) and Occupany Functions are adopted in learning-based shape reconstruction methods as implicit 3D shape representation. This paper proposes a novel method for learning occupancy functions from sparse point clouds and achieves better performance on challenging surface reconstruction tasks. Unlike the previous methods, which predict point occupancy with fully-connected multi-layer networks, we adapt the point cloud deep learning architecture, Point Convolution Neural Network (PCNN), to build our learning model. Specifically, we create a sampling operator and insert it into PCNN to continuously sample the feature space at the points where occupancy states need to be predicted. This method natively obtains point cloud data's geometric nature, and it's invariant to point permutation. Our occupancy function learning can be easily fit into procedures of point cloud up-sampling and surface reconstruction. Our experiments show state-of-the-art performance for reconstructing With ShapeNet dataset and demonstrate this method's well-generalization by testing it with McGill 3D dataset \cite{siddiqi2008retrieving}. Moreover, we find the learned occupancy function is relatively more rotation invariant than previous shape learning methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2411.15723v4cs.CV공통 태그 Surface Reconstruction공식 코드 · Papers with Code

GSurf: 고품질 3D 재구성을 위한 불투명 가우시안 스플래팅으로부터 부호 거리 필드 학습

GSurf: Learning Signed Distance Fields from Splatting Opaque Gaussians for High-quality 3D Reconstruction

다중 시점 이미지로부터의 고충실도 표면 재구성은 3D 컴퓨터 비전의 핵심 문제이다. SDF와 같은 신경 암시적 표면(neural implicit surface)은 부드러운 기하 구조를 제공하지만, 볼륨 렌더링의 높은 연산 비용이 병목으로 작용한다. 반면 3D 가우시안 스플래팅(3DGS)은 빠른 학습을 제공하지만 기하 연속성이 부족하여 종종 분절된 표면을 야기한다. 본 논문은 부호 거리 필드(Signed Distance Field, SDF)를 스플래팅 파이프라인에 직접 통합하는 새로운 프레임워크를 제안한다. SDF의 연속적 특성을 활용하여 가우시안 프리미티브를 정규화함으로써, 본 방법은 희소 포인트 클라우드에 내재된 기하학적 구멍을 효과적으로 채우고 노이즈를 억제한다. 무거운 볼륨 샘플링에 의존하는 하이브리드 방식과 달리, 본 접근법은 스플래팅의 효율성을 활용하여 더 빠른 수렴을 달성한다. 광범위한 평가를 통해 본 방법이 상당히 적은 수의 프리미티브로 고품질 표면을 생성하며, 실내외 환경 모두에 대해 더 간결하고 효율적인 표현을 제공함을 입증한다.

arXiv:2411.17392v3cs.CV공통 태그 Surface Reconstruction공식 코드 · Papers with Code

NumGrad-Pull: 포인트 클라우드에서의 표면 재구성을 위한 수치 그래디언트 가이드 트라이-플레인 표현

NumGrad-Pull: Numerical Gradient Guided Tri-plane Representation for Surface Reconstruction from Point Clouds

방향 및 순서 정보가 없는 3D 포인트에서 연속 표면을 재구성하는 것은 컴퓨터 비전 및 그래픽스에서의 근본적인 과제입니다. 최근 연구들은 신경망이 예측한 부호 거리와 해석적(analytical) 그래디언트를 따라 3D 위치 쿼리를 표면 위의 가장 가까운 점으로 끌어당기도록 신경 부호 거리 함수(neural signed distance function, SDF)를 학습시킴으로써 이 문제를 해결합니다. 본 논문에서는 트라이-플레인(tri-plane) 구조의 표현 능력을 활용하여 SDF 학습을 가속화하고 표면 재구성에서 로컬 세부 사항의 충실도를 높이는 NumGrad-Pull을 소개합니다. 그리드 기반 트라이-플레인의 학습 안정성을 더욱 향상시키기 위해, 기존의 해석적 계산을 대체하는 수치 그래디언트(numerical gradient) 활용을 제안합니다. 또한, SDF의 빠른 수렴을 촉진하는 점진적 플레인 확장 전략을 제시하고, 재구성 아티팩트를 완화하기 위한 데이터 샘플링 전략을 설계합니다. 이러한 구성 요소들은 트라이-플레인 기반의 통합된 풀링(pulling) 프레임워크에 시너지적으로 통합되며, 수치 그래디언트, 점진적 확장, 상보적 샘플링이 방향 없는 포인트 클라우드에서의 SDF 학습에서 발생하는 지역성 및 희소성(sparsity) 문제를 공동으로 해결합니다. 다양한 벤치마크에 걸친 광범위한 실험을 통해 본 접근법의 효과성과 견고성을 입증합니다. 코드는 https://github.com/cuiruikai/numgrad-pull 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.