arXiv:2402.04829

NeRF as a Non-Distant Environment Emitter in Physics-based Inverse Rendering

Jingwang Ling, Ruihan Yu, Feng Xu, Chun Du, Shuang Zhao

제출 2024-02-07

원문 초록

Physics-based inverse rendering enables joint optimization of shape, material, and lighting based on captured 2D images. To ensure accurate reconstruction, using a light model that closely resembles the captured environment is essential. Although the widely adopted distant environmental lighting model is adequate in many cases, we demonstrate that its inability to capture spatially varying illumination can lead to inaccurate reconstructions in many real-world inverse rendering scenarios. To address this limitation, we incorporate NeRF as a non-distant environment emitter into the inverse rendering pipeline. Additionally, we introduce an emitter importance sampling technique for NeRF to reduce the rendering variance. Through comparisons on both real and synthetic datasets, our results demonstrate that our NeRF-based emitter offers a more precise representation of scene lighting, thereby improving the accuracy of inverse rendering.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2511.22857v2cs.CV공통 태그 Inverse Rendering, NeRF

GLOW: 동적 공위 조명·카메라로 촬영한 실내 장면의 전역 조명 인식 역 렌더링

GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera

실내 장면의 역 렌더링(inverse rendering)은 반사율(reflectance)과 조명(lighting) 사이의 모호성, 그리고 여러 객체 간 상호 반사(inter-reflection)로 인해 여전히 어렵다. 자연광 기반 방법은 이 모호성을 해소하기 어렵지만, 공위(co-located) 조명-카메라 구성은 Structure-from-Motion으로 조명을 쉽게 보정할 수 있어 반사와 조명의 분리(disentanglement)에 유리하다. 다만 이런 구성은 강한 상호 반사, 동적 그림자, 근거리 조명(near-field lighting), 이동하는 정반사 하이라이트(moving specular highlights) 등 추가적인 난점을 만들며, 기존 접근은 이를 다루지 못한다. 본 논문은 이러한 과제를 겨냥한 전역 조명(global illumination) 인식 역 렌더링 프레임워크 GLOW를 제안한다. GLOW는 신경 암시적 표면 표현(neural implicit surface representation)과 신경 복사휘(radiance) 캐시를 결합해 전역 조명을 근사하고, 신중히 설계한 정규화와 초기화로 기하(geometry)와 반사율을 공동 최적화한다. 또한 근거리 움직임에서 생기는 날카로운 조명 불연속에 맞추는 동적 복사휘 캐시와, 손전등 촬영(flashlight captures)에서 흔한 정반사 아티팩트를 줄이기 위한 표면 각도 가중 방사 측정 손실(surface-angle-weighted radiometric loss)을 도입한다. 실험 결과 GLOW는 자연광과 공위 조명 조건 모두에서 재질 반사율 추정(material reflectance estimation)에서 기존 방법을 크게 능가한다.

arXiv:2604.05182v3cs.CV공통 태그 Inverse Rendering, NeRF

LSRM: 확장된 컨텍스트 윈도우를 통한 고충실도 객체 중심 3D 복원

LSRM: High-Fidelity Object-Centric Reconstruction via Scaled Context Windows

우리는 트랜스포머 컨텍스트 윈도우 스케일링이 피드포워드 3D 복원에 미치는 영향을 연구하기 위해 Large Sparse Reconstruction Model(LSRM)을 소개한다. 최근 객체 중심 피드포워드 방법들은 견고하고 높은 품질의 복원을 생성하지만, 세밀한 텍스처와 외관 복원에 있어 여전히 밀집 뷰 최적화(dense-view optimization)에 뒤처진다. 우리는 활성 객체 토큰과 이미지 토큰 수를 대폭 늘려 컨텍스트 윈도우를 확장하면 이 격차가 줄어들어 고충실도 3D 객체 복원 및 역방향 렌더링(inverse rendering)이 가능해짐을 보인다. 효과적인 스케일링을 위해, 세 가지 핵심 기여를 통해 3D 복원에 네이티브 희소 어텐션을 적용한다: (1) 희소 고해상도 잔차를 예측하여 정보가 풍부한 영역에 연산을 집중하는 효율적인 coarse-to-fine 파이프라인; (2) 표준 어텐션 점수 대신 명시적 기하학적 거리를 사용하여 정확한 2D-3D 대응 관계를 확립하는 3D 인식 공간 라우팅 메커니즘; (3) GPU 전반에 걸쳐 동적이고 희소한 워크로드를 균형 있게 분배하기 위한 All-gather-KV 프로토콜을 포함한 커스텀 블록 인식 시퀀스 병렬 전략. 그 결과, LSRM은 기존 최첨단(SOTA) 방법 대비 20배 더 많은 객체 토큰과 2배 이상의 이미지 토큰을 처리한다. 표준 새로운 뷰 합성(novel-view synthesis) 벤치마크에 대한 광범위한 평가에서 현재 SOTA 대비 상당한 성능 향상을 보이며, PSNR은 2.4dB 이상 향상되고 LPIPS는 40% 이상 감소하였다. 나아가 LSRM을 역방향 렌더링으로 확장했을 때, 널리 사용되는 벤치마크에서의 정성적·정량적 평가 모두 텍스처 및 기하학적 세부 사항의 일관된 개선을 보여주며, SOTA 밀집 뷰 최적화 방법과 동등하거나 이를 초과하는 LPIPS를 달성하였다. 코드와 모델 가중치는 프로젝트 페이지에서 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.