arXiv:2308.03280

Mirror-NeRF: Learning Neural Radiance Fields for Mirrors with Whitted-Style Ray Tracing

Junyi Zeng, Chong Bao, Rui Chen, Zilong Dong, Guofeng Zhang, Hujun Bao, Zhaopeng Cui

제출 2023-08-07

원문 초록

Recently, Neural Radiance Fields (NeRF) has exhibited significant success in novel view synthesis, surface reconstruction, etc. However, since no physical reflection is considered in its rendering pipeline, NeRF mistakes the reflection in the mirror as a separate virtual scene, leading to the inaccurate reconstruction of the mirror and multi-view inconsistent reflections in the mirror. In this paper, we present a novel neural rendering framework, named Mirror-NeRF, which is able to learn accurate geometry and reflection of the mirror and support various scene manipulation applications with mirrors, such as adding new objects or mirrors into the scene and synthesizing the reflections of these new objects in mirrors, controlling mirror roughness, etc. To achieve this goal, we propose a unified radiance field by introducing the reflection probability and tracing rays following the light transport model of Whitted Ray Tracing, and also develop several techniques to facilitate the learning process. Experiments and comparisons on both synthetic and real datasets demonstrate the superiority of our method. The code and supplementary material are available on the project webpage: https://zju3dv.github.io/Mirror-NeRF/.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21471v1cs.CV공통 태그 Novel View Synthesis, Surface Reconstruction, NeRF

Future Rendering ≠ Future Surface: 관측 구간을 넘어선 동적 표면 재구성을 위한 벤치마크와 데이터셋

Future Rendering $\neq$ Future Surface: A Benchmark and Dataset for Dynamic Surface Reconstruction Beyond the Observed Window

동적 장면 재구성은 거의 항상 관측된 시간 구간 내에서 평가되지만, AR 오버레이, 로봇 상호작용, 예측적 계획(anticipatory planning)과 같은 배포 환경에서는 캡처된 시점을 넘어선 시점의 기하학, 즉 미래 표면(future surface)이 필요하다. 이를 측정하는 표준 벤치마크는 없다. 본 연구는 장면 다양성을 정확한 미래 ground truth와 반증(falsification) 통제와 교환하는, 미래 시점 표면 재구성을 위한 통제된 진단용 벤치마크 및 데이터셋 FutureSurf를 소개한다. 방법은 시퀀스의 관측된 처음 75%에서 학습하고, 추출된 프레임별 표면을 보류된 미래 구간에서 Chamfer distance로 채점한다. 절대 미래 CD를 주요 점수로, 미래/관측 격차를 진단 지표로 보고한다. 데이터셋에는 분석적으로 정의된 8가지 통제된 동작이 포함되며, 그중 3가지는 반증 통제이고, 프레임별 정확한 ground-truth 메시를 제공한다. 또한 ground truth 측의 복원 가능성(recoverability) 오라클도 제공한다. 릴리스에는 분할 파일, 채점 코드, 벤치마크 카드, Croissant 메타데이터가 포함된다. 통제된 동작에서 DG-Mesh 백본은 원칙적으로 예측 가능한 미래(관측된 동작으로 고정 규칙에 따라 5개 중 4개가 복원 가능)에 대해서도 2.7–4.1× 격차를 남기는 반면, 반증 통제는 설계대로 동작한다(표면 불변 동작은 격차가 없음). 기여된 데이터셋을 넘어, 이 격차는 6개의 애니메이션 DG-Mesh 에셋 장면과 두 번째 백본인 Deformable-3DGS(2.0–6.6×; 둘 다 deformation-MLP 시간 모델을 공유)에서도 지속된다. 벤치마크는 또한 미래 렌더링 품질과 미래 표면 정확도가 통계적으로 분리(decoupled)되어 있음을 보여주므로, 해당 분야에서 보고하는 신규 시점 합성(novel-view-synthesis) 지표가 미래 기하학을 반영하지 않는다. 미래 오차는 구조적이며, 표면이 움직이는 곳에 집중된다. 데이터셋, 평가 툴킷, 채점 코드는 Hugging Face와 GitHub(https://github.com/Ricky-S/futuresurf)에서 이용할 수 있다.

arXiv:2607.03765v1cs.CV공통 태그 Novel View Synthesis, Surface Reconstruction, NeRF

법선 사전 정보를 활용한 고신뢰도 깊이 전파 기반 가우시안 스플래팅을 이용한 희소 뷰 표면 복원

Sparse-View Surface Reconstruction using Gaussian Splatting through High-Confidence Depth Propagation with Normal Priors

희소 뷰에서의 3D 복원은 3D 컴퓨터 비전(CV)에서 어려운 과제입니다. 3D 가우시안 스플래팅(3DGS)에 관한 최근 연구들은 희소 뷰 신규 뷰 합성에서 뛰어난 성과를 거두었으나, 제한된 기하학적 단서와 가우시안의 이산성으로 인해 희소 뷰에서 고품질 기하학적 표면을 복원하는 것은 여전히 난제로 남아 있습니다. 본 논문에서는 희소 뷰로부터 고충실도 표면 복원을 위한 새로운 3DGS 기반 방법을 제안합니다. 핵심 아이디어는 법선 기반 깊이 전파 접근법을 도입하는 것으로, 이를 통해 고신뢰도 영역의 깊이 정보를 저신뢰도 영역의 깊이 추정에 제약 조건으로 확장할 수 있습니다. 또한 가우시안의 이산성으로 인한 깊이 불연속 문제를 해결하기 위해 비정상 깊이 에지 인식 정규화(regularization)를 제안합니다. DTU 및 Tanks-and-Temples 데이터셋에 대한 광범위한 실험을 통해 본 방법이 희소 뷰 표면 복원에서 최신 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://hanl2010.github.io/DP-GS.

arXiv:2606.19316v1cs.CV공통 태그 Novel View Synthesis, Neural Rendering, NeRF

NeuMesh++: 분리된 신경망 메시 기반 암시적 필드를 통한 다용도 및 효율적인 체적 편집

NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field

최근 신경망 암시적 렌더링 기술은 빠르게 발전하여 새로운 시점 합성(novel view synthesis)과 3D 장면 재구성에서 상당한 이점을 보여주었습니다. 그러나 편집 목적의 기존 신경망 렌더링 방법은 강체 변환(rigid transformation)이나 카테고리 특정 편집과 같은 제한된 기능만을 제공합니다. 본 논문에서는 메시 정점에 분리된 기하학, 텍스처, 의미론적(semantic) 코드로 신경 방사장(neural radiance field)을 인코딩하는 새로운 메시 기반 표현을 제시합니다. 이는 메시 안내 기하학 편집, 텍스처 교환, 채우기 및 페인팅 작업을 포함한 지정된 텍스처 편집, 그리고 의미론적 안내 편집을 포함하는 효율적이고 포괄적인 편집 기능 세트를 가능하게 합니다. 이를 위해 렌더링 품질과 학습(training) 안정성을 향상시키기 위한 새로운 로컬 공간 파라미터화(local space parameterization), 텍스처 편집의 충실도를 높이기 위한 정점 학습 가능 수정 색상, 정밀한 텍스처 편집을 실현하기 위한 공간 인식 최적화 전략, 그리고 암시적 필드 편집의 번거로운 주석 작업을 줄이기 위한 의미론적 보조 영역 선택 기법을 개발했습니다. 실제 데이터셋과 합성 데이터셋 모두에 대한 광범위한 실험과 편집 예제는 표현 품질과 편집 능력에 있어 우리 방법의 우수성을 입증합니다. 프로젝트 페이지: https://zju3dv.github.io/neumeshplusplus/

arXiv:2607.01164v2cs.LG공통 태그 Novel View Synthesis, NeRF

정형 및 비정형 볼륨의 빠르고 메시가 필요 없는 압축을 위한 명시적 3D 가우시안 모델

Explicit 3D Gaussian Models for Fast, Mesh-Free Compression of Structured and Unstructured Volumes

최근 연구는 암시적 신경 표현(INR)이 정형 및 비정형 볼륨 데이터를 효과적으로 압축하도록 학습될 수 있으며, 줄어든 메모리 사용량으로 데이터를 직접 질의할 수 있음을 보였다. 그러나 비정형 볼륨에 대한 기존 INR은 기하 정보를 인코딩하지 않으므로 이후 샘플링을 위해 일부 메시를 저장해야 하며, 이는 달성 가능한 압축을 제한한다. 한편 새로운 시점 합성 방법은 3D 가우시안의 명시적 집합으로 볼륨 데이터를 정확하게 시각화할 수 있음을 보였다. 본 연구에서는 3D 가우시안 프리미티브에 기반한 볼륨 데이터 압축용 명시적 모델을 소개한다. 우리는 3D 가우시안 집합을 볼륨 스칼라 장의 명시적 표현으로 재해석하고, 교차하는 가우시안의 가중 집계를 통해 공간 위치에서 스칼라 값을 복원하는 샘플링 전략을 사용한다. 또한 정형 및 비정형 모델 샘플링을 위한 최적화된 CUDA 가속 파이프라인, 모델의 정확한 영역 커버리지를 유도하는 손실 함수, 샘플링 오차 기반의 새로운 밀도화 전략을 개발한다. 우리의 명시적 정식화는 영역 기하를 자연스럽게 인코딩하여 비정형 볼륨에서 메시 저장의 필요를 없애고 훨씬 높은 압축 가능성을 제공한다. 기존 INR과 비교하여, 우리의 명시적 모델은 정형 및 비정형 볼륨 모두에서 학습 속도와 복원 품질을 크게 개선하며, 비정형 볼륨에서는 기존 연구보다 훨씬 높은 압축률을 가능하게 함을 보인다.

arXiv:2610.13757v1cs.CV공통 태그 Novel View Synthesis, NeRF

관찰된 정보로 반사를 안내하는 가우시안 스플래팅

Gaussian Splatting with Reflections Guided by What is Seen

NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.

arXiv:2610.04203v2cs.CV공통 태그 Novel View Synthesis, Surface Reconstruction

Sparse-GS2Mesh: 희소 시점 표면 재구성을 위한 새로운 스테레오 시점 및 2DGS 기반 3D 가우시안 스플래팅

Sparse-GS2Mesh: 3D Gaussian Splatting Guided by Novel Stereo Views and 2DGS for Sparse View Surface Reconstruction

희소 시점(sparse-view) 환경에서의 표면 재구성(surface reconstruction)은 제한적인 기하학적 단서로 인해 여전히 어려운 과제로 남아 있습니다. 부호화 거리 함수(SDF) 기반의 볼륨 렌더링 방식은 지나치게 매끄러운 표면을 생성하는 경향이 있는 반면, 3D 가우시안 스플래팅(3DGS)은 시간 효율적이지만 신뢰할 수 있는 깊이 감독(depth supervision)의 부재와 주어진 입력 시점에서만 최적화된다는 한계로 인해 불완전한 기하학적 구조를 갖는 문제가 있습니다. 본 논문에서는 희소 시점으로부터의 표면 재구성을 위한 스테레오 인식 프레임워크인 Sparse-GS2Mesh를 제안합니다. 3DGS와 스테레오 매칭은 밀집 시점 환경에서 표면 재구성에 활용되어 왔으나, 본 연구에서는 3DGS의 과적합(overfitting) 문제를 완화하기 위해 에피폴라 깊이 사전확률(epipolar depth priors)을 사용해 3DGS를 먼저 초기화한 후 세 가지 핵심 요소를 적용함으로써 희소 시점 조건에서도 효과적으로 작동하도록 확장합니다: (I) 적응형 기준선(baseline) 선택, (II) 스테레오 매칭 네트워크를 활용한 미세조정(fine-tuning), 그리고 (III) 2D/3D 공동 정규화(regularization) 미세조정입니다. 에피폴라 깊이로 초기화되어 웜업된 3DGS가 주어지면, 적응형 기준선 선택 모듈은 각 희소 시점에 대해 합성할 기준선을 자동으로 결정합니다. 그런 다음 스테레오 매칭 네트워크로부터 깊이 정제 그래디언트를 역전파하여 3DGS를 미세조정함으로써, 스테레오 매칭에 특화되도록 3DGS를 효과적으로 조정합니다. 2D/3D 공동 정규화는 가까운 스테레오 시점에서의 취약한 기하학적 단서 문제를 해결하여 안정적인 재구성을 얻을 수 있도록 돕습니다. Sparse-GS2Mesh는 중첩이 거의 없는 설정에서 최고 수준(SOTA)의 방법들 대비 15%의 성능 향상을 달성하며, 중첩이 큰 설정에서도 대등한 결과를 보여줍니다. 코드는 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.