arXiv:2407.15212

Surfel-based Gaussian Inverse Rendering for Fast and Relightable Dynamic Human Reconstruction from Monocular Video

Yiqun Zhao, Chenming Wu, Binbin Huang, YiHao Zhi, Chen Zhao, Jingdong Wang, Shenghua Gao

제출 2024-07-21

원문 초록

Efficient and accurate reconstruction of a relightable, dynamic clothed human avatar from a monocular video is crucial for the entertainment industry. This paper introduces the Surfel-based Gaussian Inverse Avatar (SGIA) method, which introduces efficient training and rendering for relightable dynamic human reconstruction. SGIA advances previous Gaussian Avatar methods by comprehensively modeling Physically-Based Rendering (PBR) properties for clothed human avatars, allowing for the manipulation of avatars into novel poses under diverse lighting conditions. Specifically, our approach integrates pre-integration and image-based lighting for fast light calculations that surpass the performance of existing implicit-based techniques. To address challenges related to material lighting disentanglement and accurate geometry reconstruction, we propose an innovative occlusion approximation strategy and a progressive training approach. Extensive experiments demonstrate that SGIA not only achieves highly accurate physical properties but also significantly enhances the realistic relighting of dynamic human avatars, providing a substantial speed advantage. We exhibit more results in our project page: https://GS-IA.github.io.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2511.22857v2cs.CV공통 태그 Inverse Rendering, Disentanglement

GLOW: 동적 공위 조명·카메라로 촬영한 실내 장면의 전역 조명 인식 역 렌더링

GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera

실내 장면의 역 렌더링(inverse rendering)은 반사율(reflectance)과 조명(lighting) 사이의 모호성, 그리고 여러 객체 간 상호 반사(inter-reflection)로 인해 여전히 어렵다. 자연광 기반 방법은 이 모호성을 해소하기 어렵지만, 공위(co-located) 조명-카메라 구성은 Structure-from-Motion으로 조명을 쉽게 보정할 수 있어 반사와 조명의 분리(disentanglement)에 유리하다. 다만 이런 구성은 강한 상호 반사, 동적 그림자, 근거리 조명(near-field lighting), 이동하는 정반사 하이라이트(moving specular highlights) 등 추가적인 난점을 만들며, 기존 접근은 이를 다루지 못한다. 본 논문은 이러한 과제를 겨냥한 전역 조명(global illumination) 인식 역 렌더링 프레임워크 GLOW를 제안한다. GLOW는 신경 암시적 표면 표현(neural implicit surface representation)과 신경 복사휘(radiance) 캐시를 결합해 전역 조명을 근사하고, 신중히 설계한 정규화와 초기화로 기하(geometry)와 반사율을 공동 최적화한다. 또한 근거리 움직임에서 생기는 날카로운 조명 불연속에 맞추는 동적 복사휘 캐시와, 손전등 촬영(flashlight captures)에서 흔한 정반사 아티팩트를 줄이기 위한 표면 각도 가중 방사 측정 손실(surface-angle-weighted radiometric loss)을 도입한다. 실험 결과 GLOW는 자연광과 공위 조명 조건 모두에서 재질 반사율 추정(material reflectance estimation)에서 기존 방법을 크게 능가한다.

arXiv:2603.19226v2cs.CV공통 태그 Inverse Rendering, Disentanglement

하나의 태양 아래: 재질과 조명의 다중 객체 생성적 인식

Under One Sun: Multi-Object Generative Perception of Materials and Illumination

우리는 단일 이미지에서 객체 외관의 기저를 이루는 모든 방사 측정 구성 요소 -- 반사율, 텍스처, 조명 -- 의 확률적 샘플링을 위한 생성적 역 렌더링 방법인 다중 객체 생성적 인식(MultiGP, Multi-Object Generative Perception)을 소개한다. 이 본질적으로 모호한 방사 측정 분리 문제를 해결하기 위한 핵심 아이디어는, 동일 장면 내 객체들이 텍스처와 반사율은 서로 다를 수 있지만 모두 동일한 조명에 의해 밝혀진다는 사실을 활용하는 것이다. MultiGP는 이러한 공통점을 활용하여 알려진 형상의 단일 이미지에서 반사율, 텍스처, 조명의 샘플을 생성하며, 이를 위해 네 가지 핵심 기술적 기여를 제안한다: 이미지 공간과 각도 공간 분리를 결합하는 계단식 엔드-투-엔드 아키텍처; 단일하고 일관된 조명 추정치로의 확산 수렴을 위한 조율된 스케줄링(Coordinated Scheduling); 서로 다른 반사율을 가진 객체 간 "교차 통신(cross-talk)"을 촉진하는 축 방향 어텐션(Axial Attention); 그리고 추정된 조명으로부터의 분리를 보장하면서 고주파 텍스처 세부 정보를 보존하는 텍스처 추출 ControlNet. 실험 결과는 MultiGP가 다수 객체 외관의 상호 보완적인 공간적·주파수적 특성을 효과적으로 활용하여 개별 텍스처와 반사율, 그리고 공통 조명을 복원함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.