StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural Hints
원문 초록
Neural Radiance Fields (NeRF) achieve photo-realistic view synthesis with densely captured input images. However, the geometry of NeRF is extremely under-constrained given sparse views, resulting in significant degradation of novel view synthesis quality. Inspired by self-supervised depth estimation methods, we propose StructNeRF, a solution to novel view synthesis for indoor scenes with sparse inputs. StructNeRF leverages the structural hints naturally embedded in multi-view inputs to handle the unconstrained geometry issue in NeRF. Specifically, it tackles the texture and non-texture regions respectively: a patch-based multi-view consistent photometric loss is proposed to constrain the geometry of textured regions; for non-textured ones, we explicitly restrict them to be 3D consistent planes. Through the dense self-supervised depth constraints, our method improves both the geometry and the view synthesis performance of NeRF without any additional training on external data. Extensive experiments on several real-world datasets demonstrate that StructNeRF surpasses state-of-the-art methods for indoor scenes with sparse inputs both quantitatively and qualitatively.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
희소 시점 신경 재구성을 위한 신뢰도 인식 단안 깊이 지도학습
Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction
희소 시점 신경 재구성은 카메라가 좁은 전방 주행 궤적을 따라 이동하며 다중 시점 중첩이 제한적인 실외 주행 장면에서 특히 어렵다. 단안 깊이 추정기(monocular depth estimator)는 밀집된 기하학적 사전 정보를 제공할 수 있으나, 그 예측값은 노이즈가 많고 이미지 영역에 따라 신뢰도가 균일하지 않다. 본 연구에서는 희소 시점 신경 재구성을 위한 단안 깊이 지도학습을 연구한다. 밀집 단안 깊이 사전 모델로 Depth Anything V2를 사용하고, 스케일-시프트 피팅(scale-shift fitting)을 통해 예측값을 메트릭 깊이에 정렬한 뒤, RGB 전용 기준선 모델에서 생성된 광도 마스크(photometric mask)를 통해 선택적으로 깊이 지도학습을 적용한다. 이 전략을 두 가지 대표적인 장면 표현 방식인 Mip-NeRF-360과 Splatfacto에서 평가한다. every2 희소 시점 설정 하의 KITTISeq02에서, 마스크 기반 단안 깊이 지도학습은 Mip-NeRF-360의 렌더링 성능을 미미하게 향상시키는 데 그치며 메트릭 기하학을 개선하지 못한다. 반면 Splatfacto는 보다 명확한 이점을 얻어 PSNR이 14.903에서 15.932로 향상되고 RMSE가 0.542에서 0.100으로 감소한다. 추가적인 KITTISeq05 실험과 비율 매칭 마스크 제거 실험(ablation)을 통해, Splatfacto의 성능 향상이 단순히 깊이 지도학습 픽셀 수를 줄이는 것이 아니라 신뢰도가 높은 저오차 영역을 선택하는 데서 비롯됨을 추가로 확인한다. Bicycle 장면에 대한 추가 실험은 다중 시점 커버리지가 이미 충분한 경우 깊이 지도학습이 기하학을 개선하면서 RGB 렌더링 품질을 저하시킬 수 있음을 보여준다. 전반적으로, 본 결과는 단안 깊이 사전 정보가 제약이 부족한 희소 시점 재구성에 유용하지만, 선택적이고 적절한 가중치로 적용되어야 함을 시사한다.
3D 기반 모델로 초기화한 고속 3D 가우시안 스플래팅
Fast 3D Foundation Model Initialized Gaussian Splatting
본 논문은 전통적인 Structure-from-Motion(SfM) 없이 고품질 3D 가우시안 스플래팅(3DGS) 재구성을 수행하는 고속 방법을 제안한다. 제안 방식은 카메라 포즈와 포인트 클라우드 초기화에 3D 기반 모델(3DFM)을 활용하고, 깊이 가이드 손실 함수를 사용하여 카메라 포즈와 가우시안 프리미티브를 공동 최적화한다. 이를 통해 50~60장의 입력 뷰만으로도 거친 초기화에서 빠른 수렴이 가능하다. 희소 뷰 시나리오에서 재구성 품질을 더욱 향상시키기 위해, 기반 모델의 깊이 가이드 감독과 함께 MLP 기반 포즈 정제 모듈을 도입한다. Mip-NeRF 360, Tanks and Temples, RobustNeRF에 대한 광범위한 실험을 통해 제안 방법이 장면당 약 3분의 학습 시간으로 경쟁력 있는 재구성 품질(PSNR 23.61 dB, LPIPS 0.19)을 달성함을 입증한다. 제안 방법은 기존 파이프라인에 비해 훨씬 짧은 시간 안에 바로 사용 가능한 3DGS 모델을 생성하여, 로보틱스, VR, 자율 주행과 같은 근실시간 응용에 적합하다.
법선 사전 정보를 활용한 고신뢰도 깊이 전파 기반 가우시안 스플래팅을 이용한 희소 뷰 표면 복원
Sparse-View Surface Reconstruction using Gaussian Splatting through High-Confidence Depth Propagation with Normal Priors
희소 뷰에서의 3D 복원은 3D 컴퓨터 비전(CV)에서 어려운 과제입니다. 3D 가우시안 스플래팅(3DGS)에 관한 최근 연구들은 희소 뷰 신규 뷰 합성에서 뛰어난 성과를 거두었으나, 제한된 기하학적 단서와 가우시안의 이산성으로 인해 희소 뷰에서 고품질 기하학적 표면을 복원하는 것은 여전히 난제로 남아 있습니다. 본 논문에서는 희소 뷰로부터 고충실도 표면 복원을 위한 새로운 3DGS 기반 방법을 제안합니다. 핵심 아이디어는 법선 기반 깊이 전파 접근법을 도입하는 것으로, 이를 통해 고신뢰도 영역의 깊이 정보를 저신뢰도 영역의 깊이 추정에 제약 조건으로 확장할 수 있습니다. 또한 가우시안의 이산성으로 인한 깊이 불연속 문제를 해결하기 위해 비정상 깊이 에지 인식 정규화(regularization)를 제안합니다. DTU 및 Tanks-and-Temples 데이터셋에 대한 광범위한 실험을 통해 본 방법이 희소 뷰 표면 복원에서 최신 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://hanl2010.github.io/DP-GS.
MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션
MACRO: Training-free Multi-plane Attention for Closeup Render Optimization
학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO
관찰된 정보로 반사를 안내하는 가우시안 스플래팅
Gaussian Splatting with Reflections Guided by What is Seen
NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.
적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습
Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis
본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io
토론
이 논문과 연결된 포럼 글이 아직 없습니다.