PGSR: Planar-based Gaussian Splatting for Efficient and High-Fidelity Surface Reconstruction
원문 초록
Recently, 3D Gaussian Splatting (3DGS) has attracted widespread attention due to its high-quality rendering, and ultra-fast training and rendering speed. However, due to the unstructured and irregular nature of Gaussian point clouds, it is difficult to guarantee geometric reconstruction accuracy and multi-view consistency simply by relying on image reconstruction loss. Although many studies on surface reconstruction based on 3DGS have emerged recently, the quality of their meshes is generally unsatisfactory. To address this problem, we propose a fast planar-based Gaussian splatting reconstruction representation (PGSR) to achieve high-fidelity surface reconstruction while ensuring high-quality rendering. Specifically, we first introduce an unbiased depth rendering method, which directly renders the distance from the camera origin to the Gaussian plane and the corresponding normal map based on the Gaussian distribution of the point cloud, and divides the two to obtain the unbiased depth. We then introduce single-view geometric, multi-view photometric, and geometric regularization to preserve global geometric accuracy. We also propose a camera exposure compensation model to cope with scenes with large illumination variations. Experiments on indoor and outdoor scenes show that our method achieves fast training and rendering while maintaining high-fidelity rendering and geometric reconstruction, outperforming 3DGS-based and NeRF-based methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Future Rendering ≠ Future Surface: 관측 구간을 넘어선 동적 표면 재구성을 위한 벤치마크와 데이터셋
Future Rendering $\neq$ Future Surface: A Benchmark and Dataset for Dynamic Surface Reconstruction Beyond the Observed Window
동적 장면 재구성은 거의 항상 관측된 시간 구간 내에서 평가되지만, AR 오버레이, 로봇 상호작용, 예측적 계획(anticipatory planning)과 같은 배포 환경에서는 캡처된 시점을 넘어선 시점의 기하학, 즉 미래 표면(future surface)이 필요하다. 이를 측정하는 표준 벤치마크는 없다. 본 연구는 장면 다양성을 정확한 미래 ground truth와 반증(falsification) 통제와 교환하는, 미래 시점 표면 재구성을 위한 통제된 진단용 벤치마크 및 데이터셋 FutureSurf를 소개한다. 방법은 시퀀스의 관측된 처음 75%에서 학습하고, 추출된 프레임별 표면을 보류된 미래 구간에서 Chamfer distance로 채점한다. 절대 미래 CD를 주요 점수로, 미래/관측 격차를 진단 지표로 보고한다. 데이터셋에는 분석적으로 정의된 8가지 통제된 동작이 포함되며, 그중 3가지는 반증 통제이고, 프레임별 정확한 ground-truth 메시를 제공한다. 또한 ground truth 측의 복원 가능성(recoverability) 오라클도 제공한다. 릴리스에는 분할 파일, 채점 코드, 벤치마크 카드, Croissant 메타데이터가 포함된다. 통제된 동작에서 DG-Mesh 백본은 원칙적으로 예측 가능한 미래(관측된 동작으로 고정 규칙에 따라 5개 중 4개가 복원 가능)에 대해서도 2.7–4.1× 격차를 남기는 반면, 반증 통제는 설계대로 동작한다(표면 불변 동작은 격차가 없음). 기여된 데이터셋을 넘어, 이 격차는 6개의 애니메이션 DG-Mesh 에셋 장면과 두 번째 백본인 Deformable-3DGS(2.0–6.6×; 둘 다 deformation-MLP 시간 모델을 공유)에서도 지속된다. 벤치마크는 또한 미래 렌더링 품질과 미래 표면 정확도가 통계적으로 분리(decoupled)되어 있음을 보여주므로, 해당 분야에서 보고하는 신규 시점 합성(novel-view-synthesis) 지표가 미래 기하학을 반영하지 않는다. 미래 오차는 구조적이며, 표면이 움직이는 곳에 집중된다. 데이터셋, 평가 툴킷, 채점 코드는 Hugging Face와 GitHub(https://github.com/Ricky-S/futuresurf)에서 이용할 수 있다.
효율적 고충실도 표현을 위한 순환 사인파 암시적 신경 표현(INR)
Recurrent Sinusoidal INRs for Efficient High-Fidelity Representation
암시적 신경 표현(INR)에서 조화 스펙트럼 풍부화를 위한 반복적 메커니즘으로서 사인파 순환을 연구한다. 우리의 분석은 사인파 활성화가 조화 선 스펙트럼을 유도하며, 순환 전개가 유효 스펙트럼 지원을 어떻게 풍부하게 하는지에 대한 스펙트럼적 설명을 제공함을 보여준다. 우리는 잠재 표현을 반복적으로 정제하는 공유 사인파 블록으로 이 원리를 구현한다. 피드포워드 INR, 비사인파 순환 변형, 평형 스타일 사인파 모델과 대비하여 결과적인 스펙트럼 거동을 실증적으로 검증한다. 이 분석을 보완하여, 이미지 및 3D 표현 작업 전반에 걸쳐 제안된 아키텍처를 평가한다. RGB 이미지 벤치마크에서 우리 방법은 더 적은 파라미터와 더 적은 최적화 단계로 피드포워드 기준선보다 더 높은 충실도를 달성하며, 초해상도, NeRF, SDF 작업으로도 유리하게 전이된다.
SalientGS: 중요도 기반 MCMC 가우시안 할당을 통한 통합 SfM-to-3DGS 파이프라인
SalientGS: Unified SfM-to-3DGS with Importance-Guided MCMC Gaussian Allocation
비순서 이미지에서 3D 장면을 복원하는 작업은 고비용의 구조 복원(Structure-from-Motion, SfM) 전처리와 고정된 포즈 인터페이스로 인해 여전히 병목 현상이 발생한다. 우리는 통합 SfM-to-3D 가우시안 스플래팅(3DGS) 파이프라인인 SalientGS를 제안한다. 핵심 기여는 중요도 기반 마르코프 연쇄 몬테카를로(MCMC) 가우시안 할당으로, 다중 시점 잔차를 가우시안별 과소적합(underfit) 및 중복(redundancy) 신호로 집계한다. 이 신호들은 생성(birth)과 재배치(relocation) 모두를 과소적합 영역으로 편향시키는 매끄러운 중요도 가중 샘플링 분포를 정의한다. 이를 통해 기저의 확률적 그래디언트 랑주뱅 다이나믹스(SGLD)를 변경하지 않고, 잘 적합된 영역에서 용량을 재할당한다. SalientGS는 15분 이내에 최첨단 지각적 품질로 엔드투엔드 복원을 달성한다. 보충 자료에는 장면별 정성적 비교 및 이미지별 학습된 지각적 이미지 패치 유사도(Learned Perceptual Image Patch Similarity, LPIPS) 분석에 대한 전용 섹션이 포함되어 있으며, 실패 사례도 다룬다. 코드 및 평가 스크립트는 https://github.com/Six-Bit-TX/SalientGS에서 확인할 수 있다.
INFANiTE: 임상 두꺼운 슬라이스 MRI로부터 고해상도 태아 뇌 시공간 아틀라스 학습을 위한 암시적 신경 표현
INFANiTE: Implicit Neural representation for high-resolution Fetal brain spatio-temporal Atlas learNing from clinical Thick-slicE MRI
시공간 태아 뇌 아틀라스는 정상적인 신경발달을 특성화하고 선천성 이상을 식별하는 데 중요하다. 그러나 기존 아틀라스 구축 파이프라인은 고해상도 3D 뇌 볼륨을 생성하기 위해 슬라이스-투-볼륨 재구성(SVR, slice-to-volume reconstruction)에 며칠이 필요하고, 반복적인 볼륨 정합(registration)에도 추가로 며칠이 더 필요하여, 대규모 코호트로부터의 아틀라스 구축을 사실상 불가능하게 만든다. 우리는 INFANiTE로 이러한 한계를 해결한다. INFANiTE는 임상 두꺼운 슬라이스 MRI 스캔으로부터 고해상도 태아 뇌 시공간 아틀라스를 학습하기 위한 암시적 신경 표현(INR, Implicit Neural Representation) 프레임워크로, 비용이 큰 SVR과 반복적인 비강체(non-rigid) 정합 단계를 모두 완전히 우회하여 아틀라스 구축을 크게 가속한다. 광범위한 실험 결과 INFANiTE는 도전적인 희소 데이터(sparse-data) 설정에서도 피험자 일관성, 참조 충실도, 내재적 품질 및 생물학적 타당성 측면에서 기존 기준 방법들을 능가함을 보여준다. 또한 INFANiTE는 전통적인 3D 볼륨 기반 파이프라인(예: SyGN)과 비교하여 종단(end-to-end) 처리 시간(즉, 원시 스캔부터 최종 아틀라스까지)을 며칠에서 수 시간으로 단축하여 대규모 인구 수준의 태아 뇌 분석을 가능하게 한다. Code: https://github.com/hu2274898/INFANiTE
법선 사전 정보를 활용한 고신뢰도 깊이 전파 기반 가우시안 스플래팅을 이용한 희소 뷰 표면 복원
Sparse-View Surface Reconstruction using Gaussian Splatting through High-Confidence Depth Propagation with Normal Priors
희소 뷰에서의 3D 복원은 3D 컴퓨터 비전(CV)에서 어려운 과제입니다. 3D 가우시안 스플래팅(3DGS)에 관한 최근 연구들은 희소 뷰 신규 뷰 합성에서 뛰어난 성과를 거두었으나, 제한된 기하학적 단서와 가우시안의 이산성으로 인해 희소 뷰에서 고품질 기하학적 표면을 복원하는 것은 여전히 난제로 남아 있습니다. 본 논문에서는 희소 뷰로부터 고충실도 표면 복원을 위한 새로운 3DGS 기반 방법을 제안합니다. 핵심 아이디어는 법선 기반 깊이 전파 접근법을 도입하는 것으로, 이를 통해 고신뢰도 영역의 깊이 정보를 저신뢰도 영역의 깊이 추정에 제약 조건으로 확장할 수 있습니다. 또한 가우시안의 이산성으로 인한 깊이 불연속 문제를 해결하기 위해 비정상 깊이 에지 인식 정규화(regularization)를 제안합니다. DTU 및 Tanks-and-Temples 데이터셋에 대한 광범위한 실험을 통해 본 방법이 희소 뷰 표면 복원에서 최신 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://hanl2010.github.io/DP-GS.
다차원 데이터를 위한 교정된 조화 중첩 암묵적 신경 표현
Calibrated Harmonic Overlaid Implicit Neural Representations for Multi-Dimensional Data
암묵적 신경 표현(INR)은 다차원 데이터(예: 다분광 이미지 및 비디오)에 대한 강력한 사전(prior)으로 떠올랐다. 그러나 주기적 활성화 함수(예: Sine)를 사용하는 대부분의 INR 방법은 주로 함수 합성(function composition)에 의존한다. 이 메커니즘은 네트워크 깊이가 증가함에 따라 최적화 불안정성을 유발하여 성능을 제한한다. 한편, 이러한 방법들은 스펙트럼 바이어스(spectrum bias)를 효과적으로 완화하기 위한 적절한 물리적 사전을 통합하지 못한다. 이러한 문제를 해결하기 위해, 깊은 주기 네트워크와 일반화된 푸리에 급수(generalized Fourier series) 간 공통점에서 영감을 받아 새로운 교정된 조화 중첩 암묵적 신경 표현(Calibrated Harmonic Overlaid Implicit Neural Representation, CHOIR)을 제안한다. 구체적으로, 대부분의 INR에서 사용되는 기존 함수 합성을 조화 중첩(Coordinated Harmonic Superposition, CHS)으로 대체하여 네트워크 깊이를 스케일링할 때 최적화 안정성을 보장한다. 또한 스펙트럼 바이어스를 완화하기 위해 지각 스펙트럼 교정(Perceptual Spectrum Calibration, PSC)을 도입한다. 이 교정은 자연 이미지의 보편적인 멱법칙(power-law) 스펙트럼 사전을 내장하고, 전역적으로 고정된 스펙트럼을 물리적으로 타당한 로그-균등(log-uniform) 분포를 향해 조정한다. 다양한 다차원 데이터 복원 문제에 대한 광범위한 실험을 통해, 제안 방법이 최신(state-of-the-art) 접근법들보다 우수한 성능을 달성함을 보여준다. 코드는 https://github.com/chorl0229/CHOIR 에서 이용 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.