RoomLight: 실내 환경을 위한 2.5D 조명 사전
RoomLight: A 2.5D Illumination Prior for Indoor Environments
한국어 초록
ill-posed 역문제는 해 공간을 타당한 결과 쪽으로 제약하기 위해 사전(prior)이 필요하다. 역 렌더링(inverse rendering)에서는 자연 조명의 분포를 모델링하는 학습된 사전이 장면 속성 복원을 개선한다. 그러나 기존 모델들은 조명을 원거리(far-field) 환경 맵(environment map)으로 표현하는 원거리 조명(distant-illumination) 가정에 의존한다. 이는 유한 거리 방출체, 가시성 변화, 시차(parallax)로 인해 조명이 공간적으로 크게 변하는 실내 장면에서는, 단일 환경 맵으로는 이를 잘 근사할 수 없어 적용이 제한된다. 이를 해결하기 위해, 우리는 실세계 실내 파노라마와 그 추정 깊이(depth)로 학습한 공간 인식 조명 사전을 제안한다. 변분 오토인코더(VAE) 모델은 HDR radiance와 depth로 디코딩되는 compact하고 최적화 가능한 잠재 공간을 학습하며, 표준 미분 가능 렌더링(differentiable rendering) 파이프라인에 직접 통합할 수 있는 area light 방출체를 매개변수화한다. 이 설계는 학습된 사전의 타당성 보장과 하류 최적화에 필요한 그래디언트 흐름을 연결한다. 무엇보다 radiance와 depth를 공동으로 모델링함으로써, 우리 사전은 광원을 무한히 먼 것으로 취급하는 대신 실내 조명의 공간 구조를 포착한다. 이 formulation이 공간적으로 변하는 조명 모델링을 가능하게 하고, 기존 접근법 대비 실내 조명 복원에서 더 높은 충실도를 달성함을 보인다. Project page: https://andreead-a.github.io/RoomLight
원문 초록
Ill-posed inverse problems require priors to constrain the solution space toward plausible outcomes. In inverse rendering, learned priors modeling the distribution of natural illumination improve the recovery of scene properties. However, existing models rely on the distant-illumination assumption, representing lighting as a far-field environment map. This limits their applicability to indoor scenes, where illumination is highly spatially varying due to finite-distance emitters, visibility changes, and parallax, all of which are poorly approximated by a single environment map. To address this, we introduce a spatially-aware illumination prior trained on real-world indoor panoramas and their estimated depth. Our variational autoencoder model learns a compact, optimizable latent space that decodes into HDR radiance and depth, parameterizing an area light emitter for direct integration into standard differentiable rendering pipelines. This design bridges the plausibility guarantees of a learned prior with the gradient flow required for downstream optimization. Crucially, by jointly modeling radiance and depth, our prior captures the spatial structure of indoor illumination, instead of treating the light sources as infinitely distant. We demonstrate that this formulation enables spatially-varying illumination modeling and achieves higher-fidelity recovery of indoor lighting compared to existing approaches. Project page: https://andreead-a.github.io/RoomLight
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28300v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GAINS: 희소 다중 뷰 캡처로부터의 가우시안 기반 역 렌더링
GAINS: Gaussian-based Inverse Rendering from Sparse Multi-View Captures
최근 가우시안 스플래팅(Gaussian Splatting) 기반 역 렌더링(inverse rendering)의 발전은 가우시안 기본 요소에 셰이딩 매개변수와 물리적으로 타당한 광 전송(light transport)을 결합하여, 밀집 다중 뷰 캡처로부터 고품질 재질 복원을 가능하게 한다. 그러나 이러한 방법들의 정확도는 희소 뷰(sparse-view) 설정에서 저하되며, 제한된 관측으로 인해 기하(geometry), 반사율(reflectance), 조명(lighting) 사이에 심각한 모호성이 발생한다. 본 논문은 GAINS(Gaussian-based Inverse rendering from Sparse multi-view captures)를 제안한다. 이는 파운데이션 모델(foundation model)을 사전(prior)으로 활용해 기하 및 재질 추정을 안정화하는 2단계 역 렌더링 프레임워크이다. 본 논문의 핵심 기술적 기여는 파운데이션 모델 사전과 물리 기반(physically-based) 표현을 최적화(optimization) 체계에서 통합하는 역 렌더링 프레임워크이다. GAINS는 먼저 단안(monocular) 깊이, 법선(normal), 디퓨전(diffusion) 사전을 사용해 기하를 정제하고, 이어서 분할(segmentation), 고유 이미지 분해(intrinsic image decomposition, IID), 디퓨전 사전을 활용해 재질 복원을 정규화(regularize)한다. 합성 및 실세계 데이터셋(dataset)에 대한 광범위한 실험 결과, GAINS는 최신(state-of-the-art) 가우시안 기반 역 렌더링 방법 대비 재질 매개변수(parameter) 정확도, 재조명(relighting) 품질, 새로운 뷰(novel-view) 합성(synthesis)을 유의미하게 향상시킨다. GAINS는 4~32대 카메라로 촬영된 다양한 객체에서 전반적으로 우수한 성능을 보이며 경쟁력을 유지하지만, 개선 효과는 모호성이 크고 학습 기반 사전이 특히 유益한 희소 뷰 설정에서 특히 두드러진다. Project page: https://patrickbail.github.io/gains/
하나의 태양 아래: 재질과 조명의 다중 객체 생성적 인식
Under One Sun: Multi-Object Generative Perception of Materials and Illumination
우리는 단일 이미지에서 객체 외관의 기저를 이루는 모든 방사 측정 구성 요소 -- 반사율, 텍스처, 조명 -- 의 확률적 샘플링을 위한 생성적 역 렌더링 방법인 다중 객체 생성적 인식(MultiGP, Multi-Object Generative Perception)을 소개한다. 이 본질적으로 모호한 방사 측정 분리 문제를 해결하기 위한 핵심 아이디어는, 동일 장면 내 객체들이 텍스처와 반사율은 서로 다를 수 있지만 모두 동일한 조명에 의해 밝혀진다는 사실을 활용하는 것이다. MultiGP는 이러한 공통점을 활용하여 알려진 형상의 단일 이미지에서 반사율, 텍스처, 조명의 샘플을 생성하며, 이를 위해 네 가지 핵심 기술적 기여를 제안한다: 이미지 공간과 각도 공간 분리를 결합하는 계단식 엔드-투-엔드 아키텍처; 단일하고 일관된 조명 추정치로의 확산 수렴을 위한 조율된 스케줄링(Coordinated Scheduling); 서로 다른 반사율을 가진 객체 간 "교차 통신(cross-talk)"을 촉진하는 축 방향 어텐션(Axial Attention); 그리고 추정된 조명으로부터의 분리를 보장하면서 고주파 텍스처 세부 정보를 보존하는 텍스처 추출 ControlNet. 실험 결과는 MultiGP가 다수 객체 외관의 상호 보완적인 공간적·주파수적 특성을 효과적으로 활용하여 개별 텍스처와 반사율, 그리고 공통 조명을 복원함을 보여준다.
VENI: Variational Encoder for Natural Illumination
Beyond a Single Light: A Large-Scale Aerial Dataset for Urban Scene Reconstruction Under Varying Illumination
MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션
MACRO: Training-free Multi-plane Attention for Closeup Render Optimization
학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.