arXiv:2303.15206

Perceptual Quality Assessment of NeRF and Neural View Synthesis Methods for Front-Facing Views

Hanxue Liang, Tianhao Wu, Param Hanji, Francesco Banterle, Hongyun Gao, Rafal Mantiuk, Cengiz Oztireli

제출 2023-03-24

원문 초록

Neural view synthesis (NVS) is one of the most successful techniques for synthesizing free viewpoint videos, capable of achieving high fidelity from only a sparse set of captured images. This success has led to many variants of the techniques, each evaluated on a set of test views typically using image quality metrics such as PSNR, SSIM, or LPIPS. There has been a lack of research on how NVS methods perform with respect to perceived video quality. We present the first study on perceptual evaluation of NVS and NeRF variants. For this study, we collected two datasets of scenes captured in a controlled lab environment as well as in-the-wild. In contrast to existing datasets, these scenes come with reference video sequences, allowing us to test for temporal artifacts and subtle distortions that are easily overlooked when viewing only static images. We measured the quality of videos synthesized by several NVS methods in a well-controlled perceptual quality assessment experiment as well as with many existing state-of-the-art image/video quality metrics. We present a detailed analysis of the results and recommendations for dataset and metric selection for NVS evaluation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.21244v1cs.CV공통 태그 SSIM, NeRF

ACE-GS: 정확하고 압축적이며 효율적인 3D Gaussian Splatting으로 트레이드오프 극복

ACE-GS: Acing the Trade-off with Accurate, Compact and Efficient 3D Gaussian Splatting

3D Gaussian Splatting은 탁월한 실시간 렌더링을 달성하지만, 상당한 연산 및 저장 요구량이 광범위한 배포를 저해한다. 기존 가속 패러다임은 빠른 수렴을 위해 primitive를 공격적으로 가지치기하는 경우가 많아 고주파 세부 정보의 심각한 손실을 초래한다. 이를 해결하기 위해, 우리는 탁월한 렌더링 품질과 초고속 재구성 속도를 동시에 달성하는 근본적 문제에 착수한다. 본 논문에서는 정확하고 압축적이며 효율적인 장면 표현을 위해 설계된 점진적 최적화 프레임워크인 ACE-GS를 제안한다. 정밀한 primitive 관리가 이 트레이드오프를 깨는 핵심임을 확인한다. 따라서 우리는 먼저 모멘텀 일관성 기반 densification 전략을 설계하여, primitive 성장을 실제 기하 매니폴드 위로 엄격히 제한함으로써 연산 낭비를 피하면서 수렴을 크게 가속한다. 이 효율적인 초기화를 기반으로, 통계적 민감도 기반 sparsification 메커니즘을 도입하여 중복 primitive를 정밀하게 가지치기하고 더욱 압축된 풋프린트를 달성한다. 마지막으로, 앞서 언급한 엄격한 primitive 제어로 인한 미세 구조 손실 위험을 충분히 보상하기 위해, 고주파 오류 에너지를 primitive 속성에 명시적으로 재주입하는 교차 차원 잔차 주파수 보상 방식을 도입하여 선명한 기하 세부를 완벽하게 복원한다. 광범위한 실험을 통해 우수성을 검증한다. 매우 압축적인 장면 표현을 유지하면서, 우리 시스템은 고속 프레임워크 Speedy-Splat 대비 최대 3.7배의 학습 가속을 달성한다. 수렴에 3~5분만 필요한 ACE-GS는 최고 수준의 구조적 유사도를 확보하고, 원본 3DGS 대비 PSNR이 최대 0.89 dB 향상되는 정점 성능을 달성하여, 초고속·고충실도 신규 시점 합성(novel view synthesis)의 새로운 벤치마크를 제시한다.

arXiv:2505.05474v2cs.CV공통 태그 NeRF공식 코드 · Papers with Code

3D 장면 생성: 종합 조사

3D Scene Generation: A Survey

3D 장면 생성은 몰입형 미디어, 로보틱스, 자율주행, 체화 AI(embodied AI) 등의 응용을 위해 공간적으로 구조화되고 의미론적으로 유의미하며 포토리얼리스틱(photorealistic)한 환경을 합성하는 것을 목표로 한다. 절차적 규칙(procedural rules)에 기반한 초기 방법은 확장성은 제공했으나 다양성은 제한적이었다. 딥 생성 모델(예: GAN, diffusion model)과 3D 표현(예: NeRF, 3D Gaussians)의 최근 발전은 실세계 장면 분포의 학습을 가능하게 하여 충실도, 다양성, 시점 일관성을 개선했다. diffusion model과 같은 최근 기법은 생성을 이미지 또는 영상 합성 문제로 재구성함으로써 3D 장면 합성과 포토리얼리즘(photorealism)을 연결한다. 본 조사는 최신(state-of-the-art) 접근법에 대한 체계적 개관을 제공하며, 이를 절차적 생성, 신경망 3D 기반 생성, 이미지 기반 생성, 영상 기반 생성의 네 가지 패러다임으로 구분한다. 각 방법의 기술적 기반, 트레이드오프, 대표적 결과를 분석하고, 널리 사용되는 데이터셋, 평가(evaluation) 프로토콜, 하류 응용을 검토한다. 마지막으로 생성 역량, 3D 표현, 데이터 및 주석, 평가의 핵심 과제를 논의하고, 더 높은 충실도, 물리 인식(physics-aware) 및 대화형(interactive) 생성, 통합 지각-생성 모델을 포함한 유망한 연구 방향을 개괄한다. 본 리뷰는 3D 장면 생성의 최근 진전을 정리하고 생성 AI, 3D 비전, 체화 지능의 교차점에서의 유망한 방향을 강조한다. 진행 중인 동향을 추적하기 위해 최신 프로젝트 페이지를 유지한다: https://github.com/hzxie/Awesome-3D-Scene-Generation.

arXiv:2506.11139v3eess.IV공통 태그 NeRF공식 코드 · Papers with Code

그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다

Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals

암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.