arXiv:2312.06946

WaterHE-NeRF: Water-ray Tracing Neural Radiance Fields for Underwater Scene Reconstruction

Jingchun Zhou, Tianyu Liang, Dehuan Zhang, Zongxin He

제출 2023-12-12

원문 초록

Neural Radiance Field (NeRF) technology demonstrates immense potential in novel viewpoint synthesis tasks, due to its physics-based volumetric rendering process, which is particularly promising in underwater scenes. Addressing the limitations of existing underwater NeRF methods in handling light attenuation caused by the water medium and the lack of real Ground Truth (GT) supervision, this study proposes WaterHE-NeRF. We develop a new water-ray tracing field by Retinex theory that precisely encodes color, density, and illuminance attenuation in three-dimensional space. WaterHE-NeRF, through its illuminance attenuation mechanism, generates both degraded and clear multi-view images and optimizes image restoration by combining reconstruction loss with Wasserstein distance. Additionally, the use of histogram equalization (HE) as pseudo-GT enhances the network's accuracy in preserving original details and color distribution. Extensive experiments on real underwater datasets and synthetic datasets validate the effectiveness of WaterHE-NeRF. Our code will be made publicly available.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.26763v1cs.CV공통 태그 Image Restoration, NeRF

다차원 데이터를 위한 교정된 조화 중첩 암묵적 신경 표현

Calibrated Harmonic Overlaid Implicit Neural Representations for Multi-Dimensional Data

암묵적 신경 표현(INR)은 다차원 데이터(예: 다분광 이미지 및 비디오)에 대한 강력한 사전(prior)으로 떠올랐다. 그러나 주기적 활성화 함수(예: Sine)를 사용하는 대부분의 INR 방법은 주로 함수 합성(function composition)에 의존한다. 이 메커니즘은 네트워크 깊이가 증가함에 따라 최적화 불안정성을 유발하여 성능을 제한한다. 한편, 이러한 방법들은 스펙트럼 바이어스(spectrum bias)를 효과적으로 완화하기 위한 적절한 물리적 사전을 통합하지 못한다. 이러한 문제를 해결하기 위해, 깊은 주기 네트워크와 일반화된 푸리에 급수(generalized Fourier series) 간 공통점에서 영감을 받아 새로운 교정된 조화 중첩 암묵적 신경 표현(Calibrated Harmonic Overlaid Implicit Neural Representation, CHOIR)을 제안한다. 구체적으로, 대부분의 INR에서 사용되는 기존 함수 합성을 조화 중첩(Coordinated Harmonic Superposition, CHS)으로 대체하여 네트워크 깊이를 스케일링할 때 최적화 안정성을 보장한다. 또한 스펙트럼 바이어스를 완화하기 위해 지각 스펙트럼 교정(Perceptual Spectrum Calibration, PSC)을 도입한다. 이 교정은 자연 이미지의 보편적인 멱법칙(power-law) 스펙트럼 사전을 내장하고, 전역적으로 고정된 스펙트럼을 물리적으로 타당한 로그-균등(log-uniform) 분포를 향해 조정한다. 다양한 다차원 데이터 복원 문제에 대한 광범위한 실험을 통해, 제안 방법이 최신(state-of-the-art) 접근법들보다 우수한 성능을 달성함을 보여준다. 코드는 https://github.com/chorl0229/CHOIR 에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.