arXiv:2404.19026

MeGA: Hybrid Mesh-Gaussian Head Avatar for High-Fidelity Rendering and Head Editing

Cong Wang, Di Kang, He-Yi Sun, Shen-Han Qian, Zi-Xuan Wang, Linchao Bao, Song-Hai Zhang

제출 2024-04-29

원문 초록

Creating high-fidelity head avatars from multi-view videos is a core issue for many AR/VR applications. However, existing methods usually struggle to obtain high-quality renderings for all different head components simultaneously since they use one single representation to model components with drastically different characteristics (e.g., skin vs. hair). In this paper, we propose a Hybrid Mesh-Gaussian Head Avatar (MeGA) that models different head components with more suitable representations. Specifically, we select an enhanced FLAME mesh as our facial representation and predict a UV displacement map to provide per-vertex offsets for improved personalized geometric details. To achieve photorealistic renderings, we obtain facial colors using deferred neural rendering and disentangle neural textures into three meaningful parts. For hair modeling, we first build a static canonical hair using 3D Gaussian Splatting. A rigid transformation and an MLP-based deformation field are further applied to handle complex dynamic expressions. Combined with our occlusion-aware blending, MeGA generates higher-fidelity renderings for the whole head and naturally supports more downstream tasks. Experiments on the NeRSemble dataset demonstrate the effectiveness of our designs, outperforming previous state-of-the-art methods and supporting various editing functionalities, including hairstyle alteration and texture editing.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2405.10705v2eess.IV공통 태그 Neural Rendering공식 코드 · Papers with Code

혈관 확률 유도 감쇠 학습을 통한 희소 뷰 동적 DSA 영상에서의 3D 혈관 재구성

3D Vessel Reconstruction from Sparse-View Dynamic DSA Images via Vessel Probability Guided Attenuation Learning

디지털 소거 혈관 조영술(DSA)은 혈관 질환 진단의 표준(gold standard) 중 하나입니다. 조영제(contrast agent)의 도움을 받아 시간 분해 2D DSA 영상은 포괄적인 혈류 정보를 제공하며, 의학적 평가를 위해 3D 혈관 구조를 재구성하는 데 활용될 수 있습니다. 현재 상용 DSA 시스템은 재구성을 수행하기 위해 일반적으로 수백 개의 스캔 뷰가 필요하며, 이로 인해 상당한 방사선 노출이 발생합니다. 본 연구에서는 방사선 양을 줄이기 위해 고품질 희소 뷰(sparse-view) DSA 재구성에 맞춰진 신경 렌더링 기반 최적화 프레임워크를 제안합니다. 혈관 확률 유도 감쇠 학습(vessel probability guided attenuation learning)이라고 불리는 우리의 접근 방식은 DSA 영상을 시간 독립적인 혈관 확률 필드에서 유도된 가중치를 통해 정적 및 동적 감쇠 필드의 상호 보완적인 가중 조합으로 표현합니다. 전경 마스크(foreground mask)로 기능하는 혈관 확률은 다양한 장면 유형에 적응하는 정적 및 동적 필드 모두에 적절한 그라디언트를 제공합니다. 이 메커니즘은 정적 배경과 동적 조영제 흐름 간의 자기 지도(self-supervised) 분해를 가능하게 하며, 재구성 품질을 크게 향상시킵니다. 우리의 모델은 합성된 투영(projection)과 실제 캡처된 DSA 영상 간의 불일치를 최소화하여 학습됩니다. 또한, 우리는 재구성 품질을 향상시키기 위해 두 가지 학습 전략을 사용합니다: (1) 더 나은 기하학을 위한 거칠게에서 정교하게(coarse-to-fine) 점진적 학습, (2) 시간적 일관성을 위한 시간적 섭동 렌더링 손실(temporal perturbed rendering loss). 실험 결과는 고품질의 3D 혈관 재구성 및 2D DSA 영상 합성을 입증했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.