arXiv:2311.09646

Reconstructing Continuous Light Field From Single Coded Image

Yuya Ishikawa, Keita Takahashi, Chihiro Tsutake, Toshiaki Fujii

제출 2023-11-16

원문 초록

We propose a method for reconstructing a continuous light field of a target scene from a single observed image. Our method takes the best of two worlds: joint aperture-exposure coding for compressive light-field acquisition, and a neural radiance field (NeRF) for view synthesis. Joint aperture-exposure coding implemented in a camera enables effective embedding of 3-D scene information into an observed image, but in previous works, it was used only for reconstructing discretized light-field views. NeRF-based neural rendering enables high quality view synthesis of a 3-D scene from continuous viewpoints, but when only a single image is given as the input, it struggles to achieve satisfactory quality. Our method integrates these two techniques into an efficient and end-to-end trainable pipeline. Trained on a wide variety of scenes, our method can reconstruct continuous light fields accurately and efficiently without any test time optimization. To our knowledge, this is the first work to bridge two worlds: camera design for efficiently acquiring 3-D information and neural rendering.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2604.01204v3cs.CV공통 태그 Neural Rendering, NeRF

고품질 프리미티브 기반 신경 재구성을 위한 신경 조화 텍스처

Neural Harmonic Textures for High-Quality Primitive Based Neural Reconstruction

3D 가우시안 스플래팅(3D Gaussian Splatting)과 같은 프리미티브 기반 방법은 최근 새로운 시점 합성(novel-view synthesis) 및 관련 재구성 태스크에서 최첨단 기술로 자리잡았다. 신경 필드(neural fields)와 비교하여 이러한 표현 방식은 더 유연하고 적응적이며 대규모 장면에 대한 확장성이 뛰어나다. 그러나 개별 프리미티브의 표현력 한계로 인해 고주파 세부 정보를 모델링하는 것이 어렵다. 본 논문에서는 신경 조화 텍스처(Neural Harmonic Textures)를 소개한다. 이는 각 프리미티브를 둘러싸는 가상 스캐폴드(scaffold)에 잠재 특징(feature) 벡터를 고정하는 신경 표현 접근법이다. 이러한 특징은 광선 교차점에서 프리미티브 내부에 보간된다. 푸리에 분석에서 영감을 받아 보간된 특징에 주기적 활성화 함수를 적용함으로써, 알파 블렌딩을 조화 성분의 가중 합산으로 변환한다. 결과 신호는 소규모 신경망(neural network)을 사용한 단일 지연 패스(deferred pass)에서 디코딩되어 계산 비용을 크게 줄인다. 신경 조화 텍스처는 실시간 새로운 시점 합성에서 최첨단 성능을 달성하는 동시에 프리미티브 기반 재구성과 신경 필드 기반 재구성 간의 격차를 줄인다. 본 방법은 3DGUT, Triangle Splatting, 2DGS 등 기존 프리미티브 기반 파이프라인에 원활하게 통합된다. 또한 2D 이미지 피팅 및 의미론적 재구성(semantic reconstruction)에 대한 응용을 통해 방법의 범용성을 추가로 입증한다.

arXiv:2507.23033v2cs.CV공통 태그 Neural Rendering, NeRF

스파이크 기반 신경 복사장 강화를 위한 적응형 타임스텝 학습

Adaptive Time-step Training for Enhancing Spike-Based Neural Radiance Fields

스파이킹 신경망(SNN)은 신경 렌더링을 위한 에너지 효율적인 컴퓨팅 패러다임을 제공하지만, 기존 스파이크 기반 Neural Radiance Field(NeRF) 모델은 모든 장면에 고정된 추론 타임스텝을 사용한다. 이 고정된 시간적 예산은 비효율적인데, NeRF가 장면별 학습 패러다임을 따르며 장면마다 렌더링 품질을 유지하는 데 필요한 시간적 용량이 다르기 때문이다. 본 논문은 스파이크 기반 NeRF를 위한 장면별 적응형 타임스텝 학습 프레임워크인 사전학습 기반 적응형 타임스텝 조정(PATA, Pretraining-based Adaptive Time-step Adjustment)을 제안한다. PATA는 목표 추론 타임스텝을 학습 가능한 변수로 매개변수화하고 2단계 학습 과정을 통해 이를 최적화한다. 하이브리드 입력 모드는 초기 타임스텝 출력을 강화하는 한편, 전체 스텝 소프트 지도, 평활화된 렌더링 손실, 시간적 예산 손실이 공동으로 렌더링 충실도를 유지하고 시간적 연산을 줄인다. 학습된 목표 타임스텝은 장면 내 모든 레이 샘플이 공유함으로써 NeRF의 병렬 렌더링 구조를 보존한다. Synthetic-NeRF, Mip-NeRF 360, LLFF에서 INGP-NeRF 및 TensoRF 백본으로 수행한 실험에서 PATA는 경쟁력 있는 렌더링 품질을 유지하면서 추론 비용을 일관되게 감소시켰다. PATA는 INGP-NeRF에서 최대 57.57%, TensoRF에서 68.90%까지 추론 에너지 추정치를 줄여, 다양한 신경 렌더링 표현에서의 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.