T3lescope: 이미지로부터 임의 해상도의 고충실도 생성형 표면 재구성
T3lescope: Arbitrary-Resolution High-Fidelity Generative Surface Reconstruction from Images
한국어 초록
본 논문에서는 단일 객체부터 대규모 야외 장면에 이르는 다양한 규모에서, 장면별 최적화(per-scene optimization) 없이 자세가 추정된 다중 시점(posed multi-view) 이미지로부터 고충실도 3D 장면 메시를 재구성합니다. 장면별 최적화 방식은 관측이 희소하거나 표면이 번쩍이거나(glossy) 투명할 때 필요한 학습된 3D 사전 분포(prior)가 부족합니다. 기존 생성형 방식들은 이러한 사전 분포를 활용하여 희소하게 관측된 영역의 형상을 완성하지만, 일반적으로 제한된 공간 범위에 걸쳐 고정된 해상도로 동작하므로 공간적 커버리지와 디테일 사이에 상충 관계(trade-off)가 발생합니다. 따라서 대규모 장면을 재구성하려면 독립적으로 처리되는 중첩된 국소 영역들로 분할해야 하는 경우가 많아, 전역적 기하학적 일관성을 유지하기 어렵습니다. 이러한 문제를 해결하기 위해, 추론(inference) 시점에 coarse-to-fine 캐스케이드 형태로 장면 스케일에 걸쳐 단일 고정 해상도 생성기를 적용하는 T3lescope를 제안합니다. coarse 단계에서 장면 배치를 설정하고, finer 단계에서는 표면 디테일을 복원하기 위해 점진적으로 더 미세해지는 공간 셀 내에서 coarser 단계로부터 물려받은 형상을 섭동(perturb) 및 디노이징합니다. 이 모델(model)은 여러 스케일의 개별 셀에서 학습(training)되며 모든 레벨에서 가중치를 공유하므로 학습 중에는 어떠한 계층 구조도 고정되지 않으며, 레벨 수, 셀 스케일, 셀 위치는 추론 시점에 결정됩니다. 실내, 야외, 도시 규모 장면에 걸쳐 T3lescope는 피드포워드 및 생성형 베이스라인보다 우수한 성능을 보이며, 장면별 최적화 방식과 대등하거나 능가하고, 번쩍이거나 투명한 표면뿐만 아니라 미세한 구조까지 복원합니다. 이러한 결과는 제안하는 방법이 다양한 장면, 시점 수, 이미지 해상도 전반에 걸쳐 일반화됨을 보여줍니다. 프로젝트 페이지: https://pfnet-research.github.io/t3lescope/
원문 초록
We reconstruct high-fidelity 3D scene meshes from posed multi-view images without per-scene optimization, across scales ranging from single objects to large outdoor scenes. Per-scene optimization methods lack the learned 3D prior needed when observations are sparse or surfaces are glossy or transparent. Existing generative methods leverage such priors to complete geometry in sparsely observed regions, but typically operate at a fixed resolution over a limited spatial extent, trading spatial coverage against detail. Reconstructing a large scene therefore often requires partitioning it into independently processed overlapping local regions, making it difficult to maintain global geometric consistency. To address these issues, we propose T3lescope, which applies a single fixed-resolution generator across scene scales in an inference-time coarse-to-fine cascade. A coarse level establishes the scene layout, and finer levels perturb and denoise geometry inherited from the coarser level within progressively finer spatial cells to recover surface detail. The model is trained on individual cells at multiple scales and shares its weights across all levels, so no hierarchy is fixed during training, and the number of levels, cell scales, and cell locations are determined at inference time. On indoor, outdoor, and city-scale scenes, T3lescope outperforms feed-forward and generative baselines, matches or surpasses per-scene optimization, and recovers fine structures as well as glossy and transparent surfaces. These results show that our method generalizes across diverse scenes, view counts, and image resolutions. Project page: https://pfnet-research.github.io/t3lescope/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Sparse-GS2Mesh: 희소 시점 표면 재구성을 위한 새로운 스테레오 시점 및 2DGS 기반 3D 가우시안 스플래팅
Sparse-GS2Mesh: 3D Gaussian Splatting Guided by Novel Stereo Views and 2DGS for Sparse View Surface Reconstruction
희소 시점(sparse-view) 환경에서의 표면 재구성(surface reconstruction)은 제한적인 기하학적 단서로 인해 여전히 어려운 과제로 남아 있습니다. 부호화 거리 함수(SDF) 기반의 볼륨 렌더링 방식은 지나치게 매끄러운 표면을 생성하는 경향이 있는 반면, 3D 가우시안 스플래팅(3DGS)은 시간 효율적이지만 신뢰할 수 있는 깊이 감독(depth supervision)의 부재와 주어진 입력 시점에서만 최적화된다는 한계로 인해 불완전한 기하학적 구조를 갖는 문제가 있습니다. 본 논문에서는 희소 시점으로부터의 표면 재구성을 위한 스테레오 인식 프레임워크인 Sparse-GS2Mesh를 제안합니다. 3DGS와 스테레오 매칭은 밀집 시점 환경에서 표면 재구성에 활용되어 왔으나, 본 연구에서는 3DGS의 과적합(overfitting) 문제를 완화하기 위해 에피폴라 깊이 사전확률(epipolar depth priors)을 사용해 3DGS를 먼저 초기화한 후 세 가지 핵심 요소를 적용함으로써 희소 시점 조건에서도 효과적으로 작동하도록 확장합니다: (I) 적응형 기준선(baseline) 선택, (II) 스테레오 매칭 네트워크를 활용한 미세조정(fine-tuning), 그리고 (III) 2D/3D 공동 정규화(regularization) 미세조정입니다. 에피폴라 깊이로 초기화되어 웜업된 3DGS가 주어지면, 적응형 기준선 선택 모듈은 각 희소 시점에 대해 합성할 기준선을 자동으로 결정합니다. 그런 다음 스테레오 매칭 네트워크로부터 깊이 정제 그래디언트를 역전파하여 3DGS를 미세조정함으로써, 스테레오 매칭에 특화되도록 3DGS를 효과적으로 조정합니다. 2D/3D 공동 정규화는 가까운 스테레오 시점에서의 취약한 기하학적 단서 문제를 해결하여 안정적인 재구성을 얻을 수 있도록 돕습니다. Sparse-GS2Mesh는 중첩이 거의 없는 설정에서 최고 수준(SOTA)의 방법들 대비 15%의 성능 향상을 달성하며, 중첩이 큰 설정에서도 대등한 결과를 보여줍니다. 코드는 공개될 예정입니다.
PCAsplat: 국소 PCA 정규화를 적용한 가우시안 스플래팅
PCAsplat: Gaussian Splatting with Local PCA Regularization
가우시안 스플래팅(Gaussian splatting)은 포즈가 지정된 이미지로부터 3D 재구성(3D reconstruction)을 수행하기 위한 유연한 표현 방식으로 부상했습니다. 그러나 기존 방법들은 주로 래스터화 기반 손실을 사용하여 최적화되므로, 샘플링된 카메라 광선에 기여할 때만 스플랫을 지도(supervise)합니다. 따라서 가려지거나 샘플링된 시점에 거의 기여하지 않는 가우시안은 기하학적 그래디언트를 약하게 받거나 전혀 받지 못해 기저 표면에서 벗어나 표류하면서 원치 않는 부유물(floater)을 생성할 수 있습니다. 본 연구에서는 미분 가능한 국소 주성분 분석(PCA)에 기반한 가우시안 스플래팅용 기하학 인지 정규화 프레임워크인 PCAsplat을 제안합니다. 제안하는 PCA 정규화기는 가우시안 중심의 이웃에 직접 작용하므로 현재 학습 뷰에 기여하지 않는 가우시안도 업데이트할 수 있습니다. 또한 PCA 고윳값을 정규화하여 가우시안이 등방성 접평면 커버리지를 가지며 기저 표면으로 이동하도록 유도합니다. 아울러 각 가우시안 법선을 PCA로 추정한 이웃 법선과 정렬하여 일관된 방향성을 강제합니다. DTU, Tanks and Temples, NeRF Synthetic 데이터셋에 대한 실험 결과, PCAsplat으로 생성된 스플랫은 원치 않는 부유물을 대폭 줄이면서도 참조 표면의 샘플을 더 잘 근사함을 보여줍니다. 이렇게 표면에 정렬된 스플랫은 포인트 클라우드 분할(segmentation) 및 직접 포아송 재구성을 포함한 다운스트림 기하학 처리 작업을 가능하게 합니다. 또한 PCAsplat은 기존의 신규 시점 합성(novel view synthesis) 및 메시 추출 작업에서도 경쟁력을 유지합니다. 코드는 공개될 예정입니다.
MEGA: 공간 시각 증류를 통한 3D 가우시안 스플래팅 기반 객체 수준 메시 추출
MEGA: Object-Level Mesh Extraction from 3D Gaussian Splatting via Spatial Visual Distillation
3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS) 기반의 메시 추출은 3D 가우시안에 정확한 기하학적 구조를 부여하여 명시적이고 정밀한 3D 점유 공간(occupancy)을 표현하는 것을 목표로 합니다. 그러나 기존 방법들은 주로 장면 수준의 메시 추출에 집중되어 있어 객체 수준의 점유 공간을 표현하지 못하며, 종종 닫히지 않은(non-watertight) 표면을 생성합니다. 이러한 한계를 극복하기 위해, 본 논문에서는 복잡한 3DGS 장면에서 객체 수준의 닫힌(watertight) 메시를 추출하는 '분할 후 메시 생성(segment-then-mesh)' 프레임워크인 MEGA(Mesh Extraction from GAussians)를 제안합니다. MEGA의 핵심은 공간 시각 증류(Spatial Visual Distillation, SVD)와 마스크 기반 신경망 표면 재구성 모듈입니다. SVD는 3DGS 모델을 교사(teacher)로 취급하여 다양한 카메라 포즈를 샘플링하고 분할된 각 객체의 해당 뷰를 렌더링합니다. 이후 이러한 관측 결과는 광도적 감독(photometric supervision)을 통해 메시 재구성 모델을 학습하는 데 사용됩니다. 널리 사용되는 여러 벤치마크에 대한 광범위한 실험을 통해 MEGA가 정확한 객체 수준 3D 점유 공간 복원에서 최고 수준의 성능을 달성함을 입증합니다. 나아가 MEGA는 기하학적 점유 공간을 위한 고품질 객체 수준 메시와 사실적인 렌더링을 위한 3DGS 표현을 결합함으로써 복잡한 물리적 상호작용을 가능하게 합니다.
Future Rendering ≠ Future Surface: 관측 구간을 넘어선 동적 표면 재구성을 위한 벤치마크와 데이터셋
Future Rendering $\neq$ Future Surface: A Benchmark and Dataset for Dynamic Surface Reconstruction Beyond the Observed Window
동적 장면 재구성은 거의 항상 관측된 시간 구간 내에서 평가되지만, AR 오버레이, 로봇 상호작용, 예측적 계획(anticipatory planning)과 같은 배포 환경에서는 캡처된 시점을 넘어선 시점의 기하학, 즉 미래 표면(future surface)이 필요하다. 이를 측정하는 표준 벤치마크는 없다. 본 연구는 장면 다양성을 정확한 미래 ground truth와 반증(falsification) 통제와 교환하는, 미래 시점 표면 재구성을 위한 통제된 진단용 벤치마크 및 데이터셋 FutureSurf를 소개한다. 방법은 시퀀스의 관측된 처음 75%에서 학습하고, 추출된 프레임별 표면을 보류된 미래 구간에서 Chamfer distance로 채점한다. 절대 미래 CD를 주요 점수로, 미래/관측 격차를 진단 지표로 보고한다. 데이터셋에는 분석적으로 정의된 8가지 통제된 동작이 포함되며, 그중 3가지는 반증 통제이고, 프레임별 정확한 ground-truth 메시를 제공한다. 또한 ground truth 측의 복원 가능성(recoverability) 오라클도 제공한다. 릴리스에는 분할 파일, 채점 코드, 벤치마크 카드, Croissant 메타데이터가 포함된다. 통제된 동작에서 DG-Mesh 백본은 원칙적으로 예측 가능한 미래(관측된 동작으로 고정 규칙에 따라 5개 중 4개가 복원 가능)에 대해서도 2.7–4.1× 격차를 남기는 반면, 반증 통제는 설계대로 동작한다(표면 불변 동작은 격차가 없음). 기여된 데이터셋을 넘어, 이 격차는 6개의 애니메이션 DG-Mesh 에셋 장면과 두 번째 백본인 Deformable-3DGS(2.0–6.6×; 둘 다 deformation-MLP 시간 모델을 공유)에서도 지속된다. 벤치마크는 또한 미래 렌더링 품질과 미래 표면 정확도가 통계적으로 분리(decoupled)되어 있음을 보여주므로, 해당 분야에서 보고하는 신규 시점 합성(novel-view-synthesis) 지표가 미래 기하학을 반영하지 않는다. 미래 오차는 구조적이며, 표면이 움직이는 곳에 집중된다. 데이터셋, 평가 툴킷, 채점 코드는 Hugging Face와 GitHub(https://github.com/Ricky-S/futuresurf)에서 이용할 수 있다.
G²SR: 빠르고 메모리 효율적인 가우시안 기반 표면 재구성을 위한 기하학적 방법
G$^2$SR: Geometric Methods for Fast and Memory-Efficient Gaussian-based Surface Reconstruction
소수 뷰(few-view) 표면 재구성은 소수의 포즈가 정해진 RGB 이미지로부터 장면의 가시 표면을 복원하여, 로봇이 온라인으로 탐색하고 상호작용하는 데 필요한 3D 모델을 제공한다. 이동형 플랫폼에서는 안전하고 효율적인 동작을 보장하기 위해 재구성이 빠르고 기하학적으로 정확해야 하면서 메모리 사용량도 작아야 한다. 3D 가우시안 스플래팅(3DGS)은 고품질 장면 표현을 제공하지만, 소수의 뷰로부터 구축하는 것은 서로 다른 많은 표면이 동일한 이미지를 재현할 수 있어 ill-posed이며, 이로 인해 전통적인 광도 기반(photometric) 방법은 "floater" 아티팩트에 취약해진다. End-to-end 방법은 대개 트랜스포머 기반의 대형 네트워크로 스플랫을 회귀하여 모호성을 해소하지만, 높은 연산량과 메모리를 요구하며 새로운 장면에 대한 일반화도 잘 되지 않는다. 우리는 G²SR을 제안한다. 이 방법은 과제의 well-posed한 핵심을 활용한다: 교차 뷰 2D 스플랫 대응이 주어지면 3D 스플랫은 다중 뷰 기하학으로부터 해석적으로 도출된다. G²SR은 경량 신경망 프론트엔드로 이미지 평면상의 2D 가우시안 스플랫을 검출·추적하고, 해석적 백엔드로 각각을 metric-scale 3D 스플랫으로 삼각측량한다. ScanNet, Replica, DTU에서 G²SR은 최신 end-to-end 방법의 기하학적 정확도와 동등하거나 이를 능가하면서, 384×512 해상도의 2·3뷰 입력에 대해 GPU 메모리 203MB 이내(5–107배 적음)에서 초당 69–89회 재구성 속도로 동작하여, 온라인 가우시안 기반 표면 재구성을 위한 실용적인 경로를 제공한다.
CASA-SDF: 신경 암시적 표면 재구성을 위한 곡률 기반 밀도의 커리큘럼 인식 공간 적응
CASA-SDF: Curriculum-Aware Spatial Adaptation with Curvature-Guided Density for Neural Implicit Surface Reconstruction
신경 암시적 표현은 3D 재구성을 위한 강력한 패러다임으로 부상했다. 그러나 고충실도 실내 표면 재구성은 여전히 중요한 과제로 남아 있으며, 이는 주로 실내 장면의 뚜렷한 기하적 이질성 때문이다. 큰 무텍스처 평면 영역은 고주파 아티팩트를 억제하기 위해 더 강한 정규화가 일반적으로 필요한 반면, 얇은 구조물은 다층 퍼셉트론(MLP)의 스펙트럼 바이어스를 완화하고 과잉 평활화를 방지하기 위해 더 날카롭고 적응적인 표현을 요구한다. 기존 접근법은 공간적으로 무차별적인 사전 감독과 장면 전역 SDF-밀도 변환에 의존하는 경우가 많아, 평면의 매끄러움과 디테일 보존 사이의 균형 능력이 제한된다. 본 논문에서는 CASA-SDF(Curriculum-Aware Spatial Adaptation for SDF)를 제안한다. 이는 감독과 표현 용량의 상보적 적응을 통해 이 과제를 해결하는 통합 프레임워크이다. 구체적으로, Hybrid Spatially-Adaptive Uncertainty Annealing(SAUA)은 의미적 및 광도학적 불확실성을 융합하여 단안 사전 감독을 위한 픽셀 단위 커리큘럼을 구성한다. 이 전략은 신뢰할 수 있는 영역에서는 정규화를 유지하면서, 학습 초기에 신뢰할 수 없는 감독을 감쇠하여 데이터 기반 광도학적 정제를 가능하게 한다. 한편, Curvature-Aware Locally Adaptive Density Transformation(CALADT)은 곡률 프록시를 통해 SDF-밀도 매핑의 날카로움을 점진적으로 조절하여 얇은 구조물의 표현을 향상시킨다. 벤치마크 실내 데이터셋에 대한 광범위한 실험은 CASA-SDF가 평면 표면의 안정성을 훼손하지 않으면서 고주파 구조물에서의 표면 완전성과 디테일 복원을 향상시킴을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
45 pages