arXiv:2212.04705

Physics-based Indirect Illumination for Inverse Rendering

Youming Deng, Xueting Li, Sifei Liu, Ming-Hsuan Yang

제출 2022-12-09

원문 초록

We present a physics-based inverse rendering method that learns the illumination, geometry, and materials of a scene from posed multi-view RGB images. To model the illumination of a scene, existing inverse rendering works either completely ignore the indirect illumination or model it by coarse approximations, leading to sub-optimal illumination, geometry, and material prediction of the scene. In this work, we propose a physics-based illumination model that first locates surface points through an efficient refined sphere tracing algorithm, then explicitly traces the incoming indirect lights at each surface point based on reflection. Then, we estimate each identified indirect light through an efficient neural network. Moreover, we utilize the Leibniz's integral rule to resolve non-differentiability in the proposed illumination model caused by boundary lights inspired by differentiable irradiance in computer graphics. As a result, the proposed differentiable illumination model can be learned end-to-end together with geometry and materials estimation. As a side product, our physics-based inverse rendering model also facilitates flexible and realistic material editing as well as relighting. Extensive experiments on synthetic and real-world datasets demonstrate that the proposed method performs favorably against existing inverse rendering methods on novel view synthesis and inverse rendering.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2604.05182v3cs.CV공통 태그 Inverse Rendering, Novel View Synthesis

LSRM: 확장된 컨텍스트 윈도우를 통한 고충실도 객체 중심 3D 복원

LSRM: High-Fidelity Object-Centric Reconstruction via Scaled Context Windows

우리는 트랜스포머 컨텍스트 윈도우 스케일링이 피드포워드 3D 복원에 미치는 영향을 연구하기 위해 Large Sparse Reconstruction Model(LSRM)을 소개한다. 최근 객체 중심 피드포워드 방법들은 견고하고 높은 품질의 복원을 생성하지만, 세밀한 텍스처와 외관 복원에 있어 여전히 밀집 뷰 최적화(dense-view optimization)에 뒤처진다. 우리는 활성 객체 토큰과 이미지 토큰 수를 대폭 늘려 컨텍스트 윈도우를 확장하면 이 격차가 줄어들어 고충실도 3D 객체 복원 및 역방향 렌더링(inverse rendering)이 가능해짐을 보인다. 효과적인 스케일링을 위해, 세 가지 핵심 기여를 통해 3D 복원에 네이티브 희소 어텐션을 적용한다: (1) 희소 고해상도 잔차를 예측하여 정보가 풍부한 영역에 연산을 집중하는 효율적인 coarse-to-fine 파이프라인; (2) 표준 어텐션 점수 대신 명시적 기하학적 거리를 사용하여 정확한 2D-3D 대응 관계를 확립하는 3D 인식 공간 라우팅 메커니즘; (3) GPU 전반에 걸쳐 동적이고 희소한 워크로드를 균형 있게 분배하기 위한 All-gather-KV 프로토콜을 포함한 커스텀 블록 인식 시퀀스 병렬 전략. 그 결과, LSRM은 기존 최첨단(SOTA) 방법 대비 20배 더 많은 객체 토큰과 2배 이상의 이미지 토큰을 처리한다. 표준 새로운 뷰 합성(novel-view synthesis) 벤치마크에 대한 광범위한 평가에서 현재 SOTA 대비 상당한 성능 향상을 보이며, PSNR은 2.4dB 이상 향상되고 LPIPS는 40% 이상 감소하였다. 나아가 LSRM을 역방향 렌더링으로 확장했을 때, 널리 사용되는 벤치마크에서의 정성적·정량적 평가 모두 텍스처 및 기하학적 세부 사항의 일관된 개선을 보여주며, SOTA 밀집 뷰 최적화 방법과 동등하거나 이를 초과하는 LPIPS를 달성하였다. 코드와 모델 가중치는 프로젝트 페이지에서 제공된다.

arXiv:2607.09329v1cs.CV공통 태그 Inverse Rendering, Novel View Synthesis

향상된 재질-조명 분리를 위한 동적 역렌더링

Dynamic Inverse Rendering for Enhanced Material-Lighting Decomposition

역렌더링(inverse rendering) 과정에서 표면 출사 복사휘도를 재질(material)과 조명으로 분리하는 것은 리라이팅(relighting) 및 증강 현실과 같은 응용 분야에 필수적이지만, 동일한 관측 색상을 만들어내는 조합이 여러 가지일 수 있어 심각하게 비적정(ill-posed)한 문제입니다. 여러 조명 조건에서 물체를 촬영하면 최적화를 올바른 해로 제약함으로써 이 모호성 해소에 도움이 됩니다. 본 연구에서는 다양한 빛-표면 상호작용 관측을 제공하는 강체 운동(rigid motion) 물체의 재구성 가능성을 탐구하여 역렌더링에서의 재질-조명 모호성을 해소하고자 합니다. 이를 위해 일반적인 강체 운동 물체에 대한 역렌더링과 물체 추적(object tracking) 및 재구성을 결합한 리라이팅 가능한(relightable) 접근법을 제안합니다. 합성 데이터에 대한 실험 분석은 운동이 재질과 조명의 분리에 이점이 될 수 있음을 보여줍니다: 물체가 정적일 때보다 강체 운동 하에서 관측될 때 재구성된 재질이 훨씬 더 정확합니다. 더불어, 실제 손으로 들고 있는 물체의 RGB 비디오에 대한 결과는 노이즈가 있는 실제 환경 조건에서도 본 파이프라인이 이 장점을 유지함을 보여줍니다.

arXiv:2606.26715v2cs.CV공통 태그 Inverse Rendering, Novel View Synthesis

다중 뷰 이미지에서 신경 재질 추출

Extracting Neural Materials from Multi-view Images

신경 재질은 압축적이고 범용적인 기저로 복잡한 정반사 반사와 산란 효과를 표현할 수 있다. 그러나 이러한 재질을 획득하고 작성하는 것은 여전히 어려운 일이다. 우리는 이미지에서 공간적으로 변하는 신경 재질을 추출하는 미분 가능 역렌더링 방법인 NeuMatEx를 제안한다. 신경 재질 잠재 공간의 비선형 구조는 단순한 역렌더링으로 최적화를 수행하는 것을 불가능하게 만든다. 이를 해결하기 위해, 우리는 이미지에서 초기 베이스 컬러, 신경 재질 잠재 변수, 알레아토릭 불확실성 가이드를 직접 예측하는 대규모 재질 재구성 모델(LMRM)을 학습한다. 이 재질 사전(prior)은 좋은 초기화를 제공하고 역 경로 추적을 이용한 후속 최적화를 더 잘 제약한다. 예측된 불확실성은 또한 높은 확신의 영역을 LMRM 예측에 더 강하게 고정하여, 조명과 복잡한 정반사 효과가 재질에 굳어지는 것을 방지한다는 점에서 추가로 도움이 된다. 합성 및 실제 에셋에 대한 실험은 NeuMatEx가 PBR 기반 방법보다 더 나은 시각 품질과 재질 분해를 통해 복잡한 재질을 추출함을 보여준다.

arXiv:2610.13503v2cs.CV공통 태그 Novel View Synthesis

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

arXiv:2607.03875v2cs.CV공통 태그 Novel View Synthesis

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

arXiv:2607.14203v2cs.GR공통 태그 Novel View Synthesis

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.