ulaval.ca

이 이메일 도메인이 관측된 논문 3건

arXiv:2609.10787v1cs.CV

Shedding Light: A Benchmark for Evaluating Lighting Understanding in Generative Image Models

Accurate modelling of illumination is central to realistic image synthesis and scene understanding. Yet, there is little exploration into whether image generative models are good at this task or whether physical plausibility remains a key challenge for them. Clearly, significant progress has been made in realistic image synthesis, but do models truly understand lighting in a physically accurate manner? To answer this question, this work proposes a benchmark to assess the lighting understanding and harmonisation capabilities of generative models. Our key insight is that evaluating lighting understanding for such models only requires testing how well they insert novel objects into real photographs whilst maintaining consistent illumination. To do so, we use a multi-illumination dataset with images containing simple objects serving as ``light probes'', and prompt models to inpaint the same object onto the original image, then compare the generated results against the ground-truth light probes. We then estimate the lighting direction, colour and radiance distribution from the inpainted probes, providing a quantitative measure of illumination accuracy and photometric realism. Our work establishes a scalable evaluation protocol to systematically assess how well generative models capture and reproduce real-world lighting, offering a foundation for benchmarking the photometric accuracy of any future models. All code and data are available at https://lvsn.github.io/SheddingLight/ .

arXiv:2608.30124v1cs.LG

조합적 일반화를 위한 TPR-어텐션

TPR-Attention for Combinatorial Generalization

체계적 일반화(Systematic generalization)는 심층 학습(deep learning)에서 여전히 중요한 과제로 남아 있습니다. 특히, 알려진 변동 요인들의 새로운 조합으로 일반화하는 조합적 일반화(combinatorial generalization)는 인간에게는 수월하지만, 명시적인 구조적 표현 대신 통계적 상관관계에 의존하는 표준 신경망 아키텍처에는 어렵습니다. 본 논문에서는 심층 학습에 구조화된 귀납적 바이어스(inductive bias)를 내재화하는 새로운 아키텍처 구성 요소인 텐서곱 표현(Tensor-Product Representations, TPRs) 기반으로 동작하는 어텐션(attention) 메커니즘을 소개합니다. 구성적(compositional) 과제에 대한 통제된 실험을 통해, 이 TPR-어텐션 메커니즘이 조합적 일반화에 있어 기존 아키텍처 구성 요소들보다 우수한 성능을 보임을 입증합니다. 이러한 결과는 신경망 어텐션에 명시적인 구성적 구조를 통합하는 것의 가치를 강조하며, 체계적 일반화가 가능한 모델을 향한 유망한 경로를 제시합니다.

arXiv:2512.09112v3cs.CV

GimbalDiffusion: Gravity-Aware Camera Control for Video Generation

GimbalDiffusion은 중력 방향을 전역 기준으로 삼는 절대 좌표계 기반 카메라 제어 프레임워크로, 360° 파노라마 영상을 학습 데이터로 활용해 기존 방법이 처리하지 못한 극단적인 피치·롤 회전을 포함한 다양한 카메라 궤적을 텍스트-비디오 생성 모델에 적용한다. 또한 프롬프트 내용과 카메라 방향의 충돌을 방지하는 null-pitch conditioning 기법과 극단적 카메라 앵글 및 프롬프트-카메라 얽힘(entanglement)을 평가하는 새로운 벤치마크를 제안한다.