Domain-Adaptive Full-Face Gaze Estimation via Novel-View-Synthesis and Feature Disentanglement
원문 초록
Along with the recent development of deep neural networks, appearance-based gaze estimation has succeeded considerably when training and testing within the same domain. Compared to the within-domain task, the variance of different domains makes the cross-domain performance drop severely, preventing gaze estimation deployment in real-world applications. Among all the factors, ranges of head pose and gaze are believed to play significant roles in the final performance of gaze estimation, while collecting large ranges of data is expensive. This work proposes an effective model training pipeline consisting of a training data synthesis and a gaze estimation model for unsupervised domain adaptation. The proposed data synthesis leverages the single-image 3D reconstruction to expand the range of the head poses from the source domain without requiring a 3D facial shape dataset. To bridge the inevitable gap between synthetic and real images, we further propose an unsupervised domain adaptation method suitable for synthetic full-face data. We propose a disentangling autoencoder network to separate gaze-related features and introduce background augmentation consistency loss to utilize the characteristics of the synthetic source domain. Through comprehensive experiments, it shows that the model using only our synthetic training data can perform comparably to real data extended with a large label range. Our proposed domain adaptation approach further improves the performance on multiple target domains. The code and data will be available at https://github.com/ut-vision/AdaptiveGaze.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ASV3D: 추가 이미지를 활용한 확산 기반 단일 뷰 3D 복원 적응
ASV3D: Adapting Diffusion-Based Single-View 3D Reconstruction with Extra Imagery
단일 이미지로부터 3D 객체를 복원하는 것은 컴퓨터 비전(CV) 분야의 핵심 연구 주제입니다. 주요 과제는 3D 구조를 완성하기 위한 중요한 시점(viewpoint)의 정보가 부족하다는 점입니다. 추가 시점 이미지를 사용하면 이 문제를 해결하는 데 도움이 될 수 있습니다. 그러나 확산(diffusion) 기반 단일 뷰 3D 복원 원리에 추가 시점을 통합할 수 있는 메커니즘은 존재하지 않습니다. 본 연구에서는 하나의 추가 이미지를 지원받아 확산 기반 단일 뷰 3D 객체 복원을 테스트 시점 데이터에 적응시키는 프레임워크인 ASV3D를 제안하여 이 문제를 해결합니다. 우리는 두 가지 적응 전략을 도입합니다: (i) 재학습 없이 보조 이미지를 활용하여 객체의 복원 품질을 향상시키는 제로샷(zero-shot) 적응 기법과, (ii) 대조 학습(contrastive learning)을 통해 시각적 충실도와 시점 간 일관성을 더욱 향상시키는 최적화(optimised) 적응 기법입니다. 벤치마크 및 실제 데이터셋 모두에서 두 가지 최첨단 확산 기반 단일 뷰 3D 복원 파이프라인을 개선하기 위해 ASV3D를 적용했습니다. 실험 결과는 우리의 접근 방식이 제약 없는 다중 뷰 입력 환경에서 복원 정확도와 강건성을 일관되게 향상시키며, 정량적 지표와 사용자 선호도 모두에서 베이스라인을 능가함을 입증합니다. 우리는 코드와 실제 객체 데이터셋을 프로젝트 페이지(https://github.com/YNhuHuynh/ASV3D/tree/main)에 공개합니다.
ManifoldSplat: 언어 유도 기반 3D 가우시안 헤드 아바타의 시맨틱 형상 편집
ManifoldSplat: Language-Guided Semantic Shape Editing of 3D Gaussian Head Avatars
고충실도(High-fidelity) 3D 헤드 아바타는 실사에 가까운 품질에 도달했습니다. 최근 방식들은 텍스트 기반 조작을 가능하게 하지만, 특징들이 서로 얽히거나 기하학적 일관성이 결여되는 경우가 많아 세밀한 국소적 제어를 제공하는 데 어려움을 겪고 있습니다. 자연어를 통해 기하학적 구조를 수정하는 것은 현재 프롬프트(prompt)별 느린 최적화를 필요로 하거나 정체성(identity) 및 리깅(rigging)을 저해합니다. 본 논문에서는 단안 비디오에서 재구성된 애니메이션 가능한 3D 가우시안 스플래팅(3D Gaussian Splatting) 아바타에 대해, 언어 유도 기반 시맨틱 형상 편집을 수행하는 최초의 엔드투엔드(end-to-end) 프레임워크인 ManifoldSplat을 제시합니다. 비정형 가우시안 클라우드를 직접 최적화하는 대신 정형화된 FLAME 다양체(manifold) 내에서 편집을 수행함으로써, 정체성과 애니메이션을 엄격하게 보존합니다. 또한 피드포워드 형상 델타를 제공하는 영역별 얽힘 해제 조건부 변이형 오토인코더(CVAE)인 DeltaRegion과 함께, 시점 일관적인 세부 사항을 복원하기 위한 정제 단계를 도입합니다. ManifoldSplat은 소비자용 GPU에서 아바타를 약 90초 만에 재구성 및 편집하며, 약 800 FPS로 렌더링합니다. 광범위한 평가를 통해 본 접근법이 국소적 프롬프트 정렬, 기하학적 일관성, 정체성 보존 측면에서 새로운 SOTA(state-of-the-art)를 달성함을 입증합니다. 프로젝트 페이지 및 코드: https://a-canela.github.io/manifoldsplat/
파도 아래의 기하학: 희소 뷰 수중 3D 가우시안 스플래팅을 위한 밀집 사전 정보
Geometry beneath the Waves: Dense Priors for Sparse-View Underwater 3D Gaussian Splatting
수중 3D 복원(3D reconstruction)은 희소 뷰(sparse view) 조건에서 여전히 어려운 과제로 남아 있는데, 산란(scattering), 흡수(absorption), 부유 입자(suspended particles)가 특징(feature) 대응관계와 기하 추정(geometric estimation)을 저해하기 때문이다. 피드포워드(feed-forward) 기하 파운데이션 모델(foundation model)이 전통적인 Structure-from-Motion의 대안을 제공하지만, 이를 수중 환경에 직접 적용하면 노이즈가 많고 단편화된 기하가 생성되어 이후의 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)을 제한한다. 우리는 피드포워드 기하를 수중 저하(degradation)에 적응시키고 그 밀집 기하학적 사전(dense geometric prior)을 뷰 합성(view synthesis)에 활용하는 희소 뷰 수중 복원 프레임워크를 제안한다. 첫째, LoRA와 교사-학생(teacher-student) 증류(distillation)를 사용하여 VGGT를 적응시키며, 합성적으로 저하된 수중 이미지로 학습(training)하면서도 깨끗한 기하학적 감독(supervision)을 보존한다. 이를 통해 사전학습(pretrained)된 예측 헤드(prediction head)를 수정하지 않고도 수중 외관 왜곡(appearance distortion)에 대한 견고성(robustness)을 향상시킨다. 둘째, 예측된 밀집 기하는 중간 단계의 3DGS 표현을 초기화하여 기하 기반(geometry-guided) 가상 뷰(pseudo-view)를 생성하며, 이는 뷰 중첩(view overlap)을 늘리고 이후의 RUSplatting 최적화를 위한 특징(feature) 트랙을 강화한다. SeaThru-NeRF와 Submerged3D에서의 실험은 희소 뷰 조건에서 복원 품질이 향상됨을 보여준다. SeaThru-NeRF에서 본 방법은 RUSplatting의 PSNR을 24.37에서 27.11 dB로 향상시키고 SSIM을 0.7611에서 0.8634로 증가시키며, Submerged3D에서는 최고의 평균 PSNR과 LPIPS를 달성한다. 이러한 결과는 견고한 희소 뷰 수중 3D 복원을 위한 도메인 적응(domain-adapted) 기하학적 사전의 잠재력을 보여준다.
EvenSplat: 노출 및 조명 변화 환경의 가우시안 스플래팅을 위한 결합형 2D-3D 분해
EvenSplat: Coupled 2D-3D Decomposition for Gaussian Splatting under Exposure and Illumination Variation
균일한 조명 아래에서 촬영된 표면은 어느 각도에서 보아도 거의 동일한 외관을 나타내지만, 불균일한 조명 아래의 동일한 표면은 그렇지 않습니다. 시점 간에 노출이 변하고, 단일 이미지 내에서도 조명이 달라지며, 국소적으로 강한 광원은 한 영역을 밝게 만드는 동시에 인접 영역에는 그림자를 남깁니다. 3D 가우시안 스플래팅(3D Gaussian Splatting)과 같은 다중 뷰 재구성 기법들은 이러한 조명 아티팩트를 마치 장면 자체의 고유한 속성인 것처럼 취급하여, 촬영 환경에 특화된 조명을 복원되는 기하학적 구조 및 색상과 얽히게 만듭니다. 본 논문에서는 이 둘을 분리하는 프레임워크인 EvenSplat을 제안합니다. EvenSplat은 이미지 공간의 조명 분해를 가우시안이 지닌 조명 필드와 결합하여, 장면의 2차원 및 3차원 뷰 간에 동일한 조명 해석이 공유되도록 합니다. 또한 카메라 응답 네트워크와 국소 노출 보상 모듈은 학습(training) 이미지 전반에 걸쳐 남아 있는 전역적 및 잔차 차이를 흡수합니다. 실제 촬영 및 시뮬레이션 벤치마크 기반의 여러 데이터셋과 다양한 형태의 불균일한 조명(시점 간 노출, 공간적 조명 변화, 고대비 조명)에 걸친 광범위한 실험을 통해, EvenSplat은 특히 고대비 조명 환경에서 기존 최첨단(SOTA) 방법들보다 전반적으로 우수한 성능을 보입니다.
URHead: 헤드 아바타의 메시-3DGS 공동 최적화를 위한 통합 UV 공간 표현
URHead: A Unified UV-Space Representation for Joint Mesh-3DGS Optimization in Head Avatars
우리는 메시-가우시안 통합을 근본적으로 재정의하는 고충실도·애니메이션 가능 헤드 아바타를 위한 통합 표현인 URHead를 제안한다. 메시 기반 방법은 정밀한 기하학적 제어를 제공하지만 사실적인 디테일이 부족한 반면, 가우시안 기반 접근법은 사실성을 달성하지만 구조적 일관성이 부족하며, 기존 하이브리드 솔루션은 각 접근법의 상호 보완적 강점을 충분히 활용하지 못한다. 핵심 기여는 두 표현이 공통 UV 파라미터화를 공유하는 UV 공간 통합이다. 적응형 가우시안 샘플링을 통한 공동 최적화를 통해, 본 방법은 각 구성 요소에 적절한 역할을 자동으로 분리하고 할당하는 것을 학습한다. URHead는 대상자 고유의 디테일을 보존하면서 완전한 파라미터 제어 가능성을 유지하며, 재구성 품질과 애니메이션 일관성에서 기존 최신(state-of-the-art) 방법들을 능가한다.
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.