arXiv:2210.00379

NeRF: Neural Radiance Field in 3D Vision, A Comprehensive Review

Kyle Gao, Yina Gao, Hongjie He, Dening Lu, Linlin Xu, Jonathan Li

제출 2022-10-01

원문 초록

Neural Radiance Field (NeRF) has recently become a significant development in the field of Computer Vision, allowing for implicit, neural network-based scene representation and novel view synthesis. NeRF models have found diverse applications in robotics, urban mapping, autonomous navigation, virtual reality/augmented reality, and more. Due to the growing popularity of NeRF and its expanding research area, we present a comprehensive survey of NeRF papers from the past two years. Our survey is organized into architecture and application-based taxonomies and provides an introduction to the theory of NeRF and its training via differentiable volume rendering. We also present a benchmark comparison of the performance and speed of key NeRF models. By creating this survey, we hope to introduce new researchers to NeRF, provide a helpful reference for influential works in this field, as well as motivate future research directions with our discussion section.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13757v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, NeRF

관찰된 정보로 반사를 안내하는 가우시안 스플래팅

Gaussian Splatting with Reflections Guided by What is Seen

NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.

arXiv:2607.21675v1quant-ph공통 태그 3D Reconstruction, Novel View Synthesis, NeRF

Hash-QNeRF: 양자 신경 방사 필드를 위한 다중해상도 해시 인코딩

Hash-QNeRF: Multiresolution Hash Encoding for Quantum Neural Radiance Fields

신경 방사 필드(Neural Radiance Fields, NeRF)는 신규 시점 합성을 혁신했지만, 고전적 구현은 고충실도 렌더링에 여전히 계산 비용이 크다. QNeRF는 최근 진폭 임베딩, 매개변수화 양자 회로(PQC), 패리티 기반 측정, 체적 렌더링을 결합하여 게이트 기반 양자 컴퓨터에서 NeRF를 학습하는 것이 가능함을 보였다. 그러나 QNeRF는 공간 좌표에 고전적 사인파 위치 인코딩에 의존하며, 이는 장면 복잡도 및 해상도에 따라 확장성이 떨어진다. 본 연구에서는 시점 방향 인코딩, 진폭 MLP, 양자 회로, 패리티 측정, 출력 스케일링, 체적 렌더링 파이프라인은 그대로 유지한 채, 공간 좌표용 사인파 위치 인코딩을 Instant-NGP의 다중해상도 해시 인코딩으로 대체한다. 이 하이브리드 설계인 Hash-QNeRF는 학습 가능한 해시 그리드의 빠른 수렴과 메모리 효율성을 활용하면서도 양자 방사량 예측 단계를 유지한다. 합성 Blender 장면에서 최종 학습 손실 0.003534를 달성했으며, 이는 피팅된 배치에서 약 24.5 dB PSNR에 해당한다. Qiskit FakeKyiv 및 FakeTorino 백엔드를 사용한 잡음 강건성 실험에서는 상태 충실도가 0.93에서 0.98로 나타나, 해시 인코딩이 양자 회로의 잡음 내성을 저하시키지 않음을 보인다.

arXiv:2607.22446v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, NeRF

Deformable Triangle Splatting: 실시간 Radiance Field 렌더링을 위한 유연한 프리미티브

Deformable Triangle Splatting: Flexible Primitives for Real-Time Radiance Field Rendering

최근 radiance field 방법들은 가우시안 디스크부터 삼각형까지, 표면 정렬과 효율적인 래스터화를 제공하는 2D 프리미티브로 장면을 표현하지만, 모두 볼록(convex) 경계에 의존한다. 곡선 및 오목(concave) 구조는 과도한 수의 프리미티브를 요구한다. 우리는 Deformable Triangle Splatting을 제안한다. 이는 각 삼각형의 변마다 $K$개의 제어점을 추가하며, 각 제어점은 경계를 안쪽 또는 바깥쪽으로 이동시키는 단일 학습 가능 스칼라 변위(displacement)로 매개변수화되어, 3D 평면을 정의하는 세 개의 기본 정점을 유지하면서 비볼록(non-convex) 형상 표현을 가능하게 한다. 이러한 비볼록 프리미티브를 미분 가능하게 렌더링하기 위해, 삼각형의 barycentric 좌표 공간에서 래스터화 파이프라인을 설계하여 시점 일관(view-consistent) 렌더링을 보장한다. winding number 테스트는 각 픽셀이 변형된 프리미티브 내부에 있는지를 판별하며, sharpness와 corner smoothness라는 두 개의 학습 가능 매개변수로 제어되는 window function과 프리미티브당 스칼라 opacity가 함께 내부에서 경계로의 부드러운 opacity 전환을 생성한다. 검증은 다양한 실세계 장면에서 수행되며, 비체적(non-volumetric) 프리미티브 기반 최근 연구들을 시각적 품질과 범용성 측면에서 능가하면서도 여전히 경쟁력 있는 렌더링 효율을 달성한다.

arXiv:2607.21471v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, NeRF

Future Rendering ≠ Future Surface: 관측 구간을 넘어선 동적 표면 재구성을 위한 벤치마크와 데이터셋

Future Rendering $\neq$ Future Surface: A Benchmark and Dataset for Dynamic Surface Reconstruction Beyond the Observed Window

동적 장면 재구성은 거의 항상 관측된 시간 구간 내에서 평가되지만, AR 오버레이, 로봇 상호작용, 예측적 계획(anticipatory planning)과 같은 배포 환경에서는 캡처된 시점을 넘어선 시점의 기하학, 즉 미래 표면(future surface)이 필요하다. 이를 측정하는 표준 벤치마크는 없다. 본 연구는 장면 다양성을 정확한 미래 ground truth와 반증(falsification) 통제와 교환하는, 미래 시점 표면 재구성을 위한 통제된 진단용 벤치마크 및 데이터셋 FutureSurf를 소개한다. 방법은 시퀀스의 관측된 처음 75%에서 학습하고, 추출된 프레임별 표면을 보류된 미래 구간에서 Chamfer distance로 채점한다. 절대 미래 CD를 주요 점수로, 미래/관측 격차를 진단 지표로 보고한다. 데이터셋에는 분석적으로 정의된 8가지 통제된 동작이 포함되며, 그중 3가지는 반증 통제이고, 프레임별 정확한 ground-truth 메시를 제공한다. 또한 ground truth 측의 복원 가능성(recoverability) 오라클도 제공한다. 릴리스에는 분할 파일, 채점 코드, 벤치마크 카드, Croissant 메타데이터가 포함된다. 통제된 동작에서 DG-Mesh 백본은 원칙적으로 예측 가능한 미래(관측된 동작으로 고정 규칙에 따라 5개 중 4개가 복원 가능)에 대해서도 2.7–4.1× 격차를 남기는 반면, 반증 통제는 설계대로 동작한다(표면 불변 동작은 격차가 없음). 기여된 데이터셋을 넘어, 이 격차는 6개의 애니메이션 DG-Mesh 에셋 장면과 두 번째 백본인 Deformable-3DGS(2.0–6.6×; 둘 다 deformation-MLP 시간 모델을 공유)에서도 지속된다. 벤치마크는 또한 미래 렌더링 품질과 미래 표면 정확도가 통계적으로 분리(decoupled)되어 있음을 보여주므로, 해당 분야에서 보고하는 신규 시점 합성(novel-view-synthesis) 지표가 미래 기하학을 반영하지 않는다. 미래 오차는 구조적이며, 표면이 움직이는 곳에 집중된다. 데이터셋, 평가 툴킷, 채점 코드는 Hugging Face와 GitHub(https://github.com/Ricky-S/futuresurf)에서 이용할 수 있다.

arXiv:2610.15807v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis

Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리

Totem: Object-Centric 3D Memory for World-Consistent Video Generation

통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.

arXiv:2610.13503v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.