zkteco.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2609.24158v1cs.CV

시맨틱 적응형 모션-조명 반응을 활용한 재조명 가능 3D 아바타 재구성

Relightable 3D Avatar Reconstruction with Semantic-Adaptive Motion-Illumination Responses

단안(monocular) 영상으로부터 표현력이 풍부하고 재조명 가능한 3D 얼굴 아바타를 재구성하는 것은 컴퓨터 비전 분야에서 여전히 어려운 과제인데, 이는 비강체(non-rigid) 얼굴 모션과 조명 의존적 외형(appearance)을 모두 정확하게 모델링해야 하기 때문이다. 기존의 가우시안(Gaussian) 아바타 방법들은 대체로 전역적으로 결합된(globally coupled) 표현 방식에 의존하며, 이 경우 가우시안 프리미티브(primitive)들이 하나의 통합된 모션 또는 조명 반응 모델을 공유한다. 이러한 균일한 모델링은 서로 다른 얼굴 시맨틱 영역(semantic region)이 갖는 고유한 모션 패턴과 재질/반사(material/reflectance) 특성을 간과하여, 세밀한 애니메이션 정확도를 제한하고 재조명(relighting)의 사실성을 저하시킨다. 이러한 한계를 해결하기 위해, 우리는 시맨틱 적응형 모션-조명 반응 모델링을 위한 3D 가우시안 아바타 프레임워크인 SAMIRA를 제안한다. 모션 반응 모델링을 위해, 시맨틱 적응형 모션 반응(Semantic-Adaptive Motion Response) 모듈은 현재 메시에서 기준(reference) 메시로의 변위(displacement)를 토폴로지가 일관된 UV 공간으로 래스터화(rasterize)하고, 얼굴 시맨틱 정보를 활용하여 변위 특징(feature)을 시맨틱별 모듈레이터(modulator)를 통해 라우팅함으로써, 대략적인 메시 바인딩(binding)을 넘어서는 지역화된 가우시안 기하 잔차(residual)를 예측한다. 조명 반응 모델링을 위해, 시맨틱 적응형 조명 반응(Semantic-Adaptive Illumination Response) 모듈은 각 얼굴 영역에 대해 압축된 확산(diffuse) 및 반사(specular) 반응 계수를 학습하여, 서로 다른 영역의 가우시안들이 새로운 환경(environment) 조명에 맞춰 자신의 조명 반응을 적응시킬 수 있도록 한다. 이 반응 계수들은 지연 물리 기반 셰이딩(deferred physically based shading)에 통합되어, 시맨틱에 의존하는 조명 효과에 대한 경량화된 근사를 제공한다. 셀프 재연(self-reenactment), 크로스 재연(cross-reenactment), 재조명(relighting)에 대한 광범위한 실험을 통해, SAMIRA가 기존 방법들보다 세밀한 표정 재구성과 재조명 사실성을 모두 향상시킨다는 것을 입증한다.