Multi-times Monte Carlo Rendering for Inter-reflection Reconstruction
원문 초록
Inverse rendering methods have achieved remarkable performance in reconstructing high-fidelity 3D objects with disentangled geometries, materials, and environmental light. However, they still face huge challenges in reflective surface reconstruction. Although recent methods model the light trace to learn specularity, the ignorance of indirect illumination makes it hard to handle inter-reflections among multiple smooth objects. In this work, we propose Ref-MC2 that introduces the multi-time Monte Carlo sampling which comprehensively computes the environmental illumination and meanwhile considers the reflective light from object surfaces. To address the computation challenge as the times of Monte Carlo sampling grow, we propose a specularity-adaptive sampling strategy, significantly reducing the computational complexity. Besides the computational resource, higher geometry accuracy is also required because geometric errors accumulate multiple times. Therefore, we further introduce a reflection-aware surface model to initialize the geometry and refine it during inverse rendering. We construct a challenging dataset containing scenes with multiple objects and inter-reflections. Experiments show that our method outperforms other inverse rendering methods on various object groups. We also show downstream applications, e.g., relighting and material editing, to illustrate the disentanglement ability of our method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GLOW: 동적 공위 조명·카메라로 촬영한 실내 장면의 전역 조명 인식 역 렌더링
GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera
실내 장면의 역 렌더링(inverse rendering)은 반사율(reflectance)과 조명(lighting) 사이의 모호성, 그리고 여러 객체 간 상호 반사(inter-reflection)로 인해 여전히 어렵다. 자연광 기반 방법은 이 모호성을 해소하기 어렵지만, 공위(co-located) 조명-카메라 구성은 Structure-from-Motion으로 조명을 쉽게 보정할 수 있어 반사와 조명의 분리(disentanglement)에 유리하다. 다만 이런 구성은 강한 상호 반사, 동적 그림자, 근거리 조명(near-field lighting), 이동하는 정반사 하이라이트(moving specular highlights) 등 추가적인 난점을 만들며, 기존 접근은 이를 다루지 못한다. 본 논문은 이러한 과제를 겨냥한 전역 조명(global illumination) 인식 역 렌더링 프레임워크 GLOW를 제안한다. GLOW는 신경 암시적 표면 표현(neural implicit surface representation)과 신경 복사휘(radiance) 캐시를 결합해 전역 조명을 근사하고, 신중히 설계한 정규화와 초기화로 기하(geometry)와 반사율을 공동 최적화한다. 또한 근거리 움직임에서 생기는 날카로운 조명 불연속에 맞추는 동적 복사휘 캐시와, 손전등 촬영(flashlight captures)에서 흔한 정반사 아티팩트를 줄이기 위한 표면 각도 가중 방사 측정 손실(surface-angle-weighted radiometric loss)을 도입한다. 실험 결과 GLOW는 자연광과 공위 조명 조건 모두에서 재질 반사율 추정(material reflectance estimation)에서 기존 방법을 크게 능가한다.
하나의 태양 아래: 재질과 조명의 다중 객체 생성적 인식
Under One Sun: Multi-Object Generative Perception of Materials and Illumination
우리는 단일 이미지에서 객체 외관의 기저를 이루는 모든 방사 측정 구성 요소 -- 반사율, 텍스처, 조명 -- 의 확률적 샘플링을 위한 생성적 역 렌더링 방법인 다중 객체 생성적 인식(MultiGP, Multi-Object Generative Perception)을 소개한다. 이 본질적으로 모호한 방사 측정 분리 문제를 해결하기 위한 핵심 아이디어는, 동일 장면 내 객체들이 텍스처와 반사율은 서로 다를 수 있지만 모두 동일한 조명에 의해 밝혀진다는 사실을 활용하는 것이다. MultiGP는 이러한 공통점을 활용하여 알려진 형상의 단일 이미지에서 반사율, 텍스처, 조명의 샘플을 생성하며, 이를 위해 네 가지 핵심 기술적 기여를 제안한다: 이미지 공간과 각도 공간 분리를 결합하는 계단식 엔드-투-엔드 아키텍처; 단일하고 일관된 조명 추정치로의 확산 수렴을 위한 조율된 스케줄링(Coordinated Scheduling); 서로 다른 반사율을 가진 객체 간 "교차 통신(cross-talk)"을 촉진하는 축 방향 어텐션(Axial Attention); 그리고 추정된 조명으로부터의 분리를 보장하면서 고주파 텍스처 세부 정보를 보존하는 텍스처 추출 ControlNet. 실험 결과는 MultiGP가 다수 객체 외관의 상호 보완적인 공간적·주파수적 특성을 효과적으로 활용하여 개별 텍스처와 반사율, 그리고 공통 조명을 복원함을 보여준다.
HiNeuS: High-fidelity Neural Surface Mitigating Low-texture and Reflective Ambiguity
TextureSplat: Per-Primitive Texture Mapping for Reflective Gaussian Splatting
Adversarial Disentanglement by Backpropagation with Physics-Informed Variational Autoencoder
Dual-View Disentangled Multi-Intent Learning for Enhanced Collaborative Filtering
토론
이 논문과 연결된 포럼 글이 아직 없습니다.