DFA-NeRF: Personalized Talking Head Generation via Disentangled Face Attributes Neural Rendering
원문 초록
While recent advances in deep neural networks have made it possible to render high-quality images, generating photo-realistic and personalized talking head remains challenging. With given audio, the key to tackling this task is synchronizing lip movement and simultaneously generating personalized attributes like head movement and eye blink. In this work, we observe that the input audio is highly correlated to lip motion while less correlated to other personalized attributes (e.g., head movements). Inspired by this, we propose a novel framework based on neural radiance field to pursue high-fidelity and personalized talking head generation. Specifically, neural radiance field takes lip movements features and personalized attributes as two disentangled conditions, where lip movements are directly predicted from the audio inputs to achieve lip-synchronized generation. In the meanwhile, personalized attributes are sampled from a probabilistic model, where we design a Transformer-based variational autoencoder sampled from Gaussian Process to learn plausible and natural-looking head pose and eye blink. Experiments on several benchmarks demonstrate that our method achieves significantly better results than state-of-the-art methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Advancing Talking Head Generation: A Comprehensive Survey of Multi-Modal Methodologies, Datasets, Evaluation Metrics, and Loss Functions
R3eVision: A Survey on Robust Rendering, Restoration, and Enhancement for 3D Low-Level Vision
Unifying Appearance Codes and Bilateral Grids for Driving Scene Gaussian Splatting
GoLF-NRT: Integrating Global Context and Local Geometry for Few-Shot View Synthesis
SLAM&Render: A Benchmark for the Intersection Between Neural Rendering, Gaussian Splatting and SLAM
고품질 프리미티브 기반 신경 재구성을 위한 신경 조화 텍스처
Neural Harmonic Textures for High-Quality Primitive Based Neural Reconstruction
3D 가우시안 스플래팅(3D Gaussian Splatting)과 같은 프리미티브 기반 방법은 최근 새로운 시점 합성(novel-view synthesis) 및 관련 재구성 태스크에서 최첨단 기술로 자리잡았다. 신경 필드(neural fields)와 비교하여 이러한 표현 방식은 더 유연하고 적응적이며 대규모 장면에 대한 확장성이 뛰어나다. 그러나 개별 프리미티브의 표현력 한계로 인해 고주파 세부 정보를 모델링하는 것이 어렵다. 본 논문에서는 신경 조화 텍스처(Neural Harmonic Textures)를 소개한다. 이는 각 프리미티브를 둘러싸는 가상 스캐폴드(scaffold)에 잠재 특징(feature) 벡터를 고정하는 신경 표현 접근법이다. 이러한 특징은 광선 교차점에서 프리미티브 내부에 보간된다. 푸리에 분석에서 영감을 받아 보간된 특징에 주기적 활성화 함수를 적용함으로써, 알파 블렌딩을 조화 성분의 가중 합산으로 변환한다. 결과 신호는 소규모 신경망(neural network)을 사용한 단일 지연 패스(deferred pass)에서 디코딩되어 계산 비용을 크게 줄인다. 신경 조화 텍스처는 실시간 새로운 시점 합성에서 최첨단 성능을 달성하는 동시에 프리미티브 기반 재구성과 신경 필드 기반 재구성 간의 격차를 줄인다. 본 방법은 3DGUT, Triangle Splatting, 2DGS 등 기존 프리미티브 기반 파이프라인에 원활하게 통합된다. 또한 2D 이미지 피팅 및 의미론적 재구성(semantic reconstruction)에 대한 응용을 통해 방법의 범용성을 추가로 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.