ill-posed 역문제는 해 공간을 타당한 결과 쪽으로 제약하기 위해 사전(prior)이 필요하다. 역 렌더링(inverse rendering)에서는 자연 조명의 분포를 모델링하는 학습된 사전이 장면 속성 복원을 개선한다. 그러나 기존 모델들은 조명을 원거리(far-field) 환경 맵(environment map)으로 표현하는 원거리 조명(distant-illumination) 가정에 의존한다. 이는 유한 거리 방출체, 가시성 변화, 시차(parallax)로 인해 조명이 공간적으로 크게 변하는 실내 장면에서는, 단일 환경 맵으로는 이를 잘 근사할 수 없어 적용이 제한된다. 이를 해결하기 위해, 우리는 실세계 실내 파노라마와 그 추정 깊이(depth)로 학습한 공간 인식 조명 사전을 제안한다. 변분 오토인코더(VAE) 모델은 HDR radiance와 depth로 디코딩되는 compact하고 최적화 가능한 잠재 공간을 학습하며, 표준 미분 가능 렌더링(differentiable rendering) 파이프라인에 직접 통합할 수 있는 area light 방출체를 매개변수화한다. 이 설계는 학습된 사전의 타당성 보장과 하류 최적화에 필요한 그래디언트 흐름을 연결한다. 무엇보다 radiance와 depth를 공동으로 모델링함으로써, 우리 사전은 광원을 무한히 먼 것으로 취급하는 대신 실내 조명의 공간 구조를 포착한다. 이 formulation이 공간적으로 변하는 조명 모델링을 가능하게 하고, 기존 접근법 대비 실내 조명 복원에서 더 높은 충실도를 달성함을 보인다. Project page: https://andreead-a.github.io/RoomLight
단일 이미지에서 반사율, 텍스처, 조명을 동시에 확률적으로 분리하는 생성적 역 렌더링 방법인 MultiGP를 제안하며, 동일 장면 내 여러 객체가 공통 조명을 공유한다는 물리적 제약을 활용한다. Coordinated Scheduling, Axial Attention, Texture Extraction ControlNet을 포함한 계단식 아키텍처를 통해 합성 및 실세계 데이터셋에서 최첨단 성능을 달성했다.
Inverse rendering is an ill-posed problem, but priors such as illumination priors can help simplify it. Existing work either disregards the spherical and rotation-equivariant nature of illumination environments or does not provide a well-behaved latent space. We propose a rotation-equivariant variational autoencoder that models natural illumination on the sphere without relying on 2D projections. To preserve the SO(2)-equivariance of environment maps, we use a novel Vector Neuron Vision Transformer (VN-ViT) as encoder and a rotation-equivariant conditional neural field as decoder. In the encoder, we reduce the equivariance from SO(3) to SO(2) using a novel SO(2)-equivariant fully connected layer, an extension of Vector Neurons. We show that our SO(2)-equivariant fully connected layer outperforms standard Vector Neurons when used in our SO(2)-equivariant model. Compared to previous methods, our variational autoencoder enables smoother interpolation in latent space and offers a more well-behaved latent space.