NeRF-AD: Neural Radiance Field with Attention-based Disentanglement for Talking Face Synthesis
원문 초록
Talking face synthesis driven by audio is one of the current research hotspots in the fields of multidimensional signal processing and multimedia. Neural Radiance Field (NeRF) has recently been brought to this research field in order to enhance the realism and 3D effect of the generated faces. However, most existing NeRF-based methods either burden NeRF with complex learning tasks while lacking methods for supervised multimodal feature fusion, or cannot precisely map audio to the facial region related to speech movements. These reasons ultimately result in existing methods generating inaccurate lip shapes. This paper moves a portion of NeRF learning tasks ahead and proposes a talking face synthesis method via NeRF with attention-based disentanglement (NeRF-AD). In particular, an Attention-based Disentanglement module is introduced to disentangle the face into Audio-face and Identity-face using speech-related facial action unit (AU) information. To precisely regulate how audio affects the talking face, we only fuse the Audio-face with audio feature. In addition, AU information is also utilized to supervise the fusion of these two modalities. Extensive qualitative and quantitative experiments demonstrate that our NeRF-AD outperforms state-of-the-art methods in generating realistic talking face videos, including image quality and lip synchronization. To view video results, please refer to https://xiaoxingliu02.github.io/NeRF-AD.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GLOW: 동적 공위 조명·카메라로 촬영한 실내 장면의 전역 조명 인식 역 렌더링
GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera
실내 장면의 역 렌더링(inverse rendering)은 반사율(reflectance)과 조명(lighting) 사이의 모호성, 그리고 여러 객체 간 상호 반사(inter-reflection)로 인해 여전히 어렵다. 자연광 기반 방법은 이 모호성을 해소하기 어렵지만, 공위(co-located) 조명-카메라 구성은 Structure-from-Motion으로 조명을 쉽게 보정할 수 있어 반사와 조명의 분리(disentanglement)에 유리하다. 다만 이런 구성은 강한 상호 반사, 동적 그림자, 근거리 조명(near-field lighting), 이동하는 정반사 하이라이트(moving specular highlights) 등 추가적인 난점을 만들며, 기존 접근은 이를 다루지 못한다. 본 논문은 이러한 과제를 겨냥한 전역 조명(global illumination) 인식 역 렌더링 프레임워크 GLOW를 제안한다. GLOW는 신경 암시적 표면 표현(neural implicit surface representation)과 신경 복사휘(radiance) 캐시를 결합해 전역 조명을 근사하고, 신중히 설계한 정규화와 초기화로 기하(geometry)와 반사율을 공동 최적화한다. 또한 근거리 움직임에서 생기는 날카로운 조명 불연속에 맞추는 동적 복사휘 캐시와, 손전등 촬영(flashlight captures)에서 흔한 정반사 아티팩트를 줄이기 위한 표면 각도 가중 방사 측정 손실(surface-angle-weighted radiometric loss)을 도입한다. 실험 결과 GLOW는 자연광과 공위 조명 조건 모두에서 재질 반사율 추정(material reflectance estimation)에서 기존 방법을 크게 능가한다.
RehearsalNeRF: 장면 편집을 위한 동적 조명의 내재적 신경 필드 분리
RehearsalNeRF: Decoupling Intrinsic Neural Fields of Dynamic Illuminations for Scene Editing
신경 방사 필드(neural radiance fields)에서 상당한 진전이 있었음에도 불구하고, 동적 조명 변화에 관한 문제는 여전히 해결되지 않고 있다. 장면 내 시간 변이/불변 구성 요소를 매개변수화하는 관련 연구들과 달리, 피사체의 방사(radiance)는 시공간 영역에서 자체 방출 방사와 조명 색상이 심하게 얽혀 있다. 본 논문에서는 심한 조명 변화 하에서 분리된 신경 필드를 학습하는 새로운 효과적인 방법인 RehearsalNeRF를 제안한다. 핵심 아이디어는 동적 조명이 발생하기 전 리허설 무대처럼 안정적인 조명 하에 촬영된 장면을 활용하여, 서로 다른 조명 조건 간의 기하학적 일관성을 강제하는 것이다. 특히, RehearsalNeRF는 시간 차원에서 조명 색상을 나타내는 학습 가능한 벡터를 조명 효과에 적용하여 투영된 광원 색상을 장면 방사로부터 분리하는 데 사용한다. 나아가 RehearsalNeRF는 기성 인터랙티브 마스크를 간단히 적용하는 것만으로 동적 객체의 신경 필드도 재구성할 수 있다. 동적 객체를 분리하기 위해, 색상 분리에 대한 거친 감독을 제공하는 광학 흐름(optical flow)을 활용한 새로운 정규화(regularization) 방법을 제안한다. 동적 조명 조건 하에서 새로운 뷰 합성 및 장면 편집에 대한 강건한 성능을 보임으로써 RehearsalNeRF의 효과성을 입증한다. 소스 코드와 비디오 데이터셋은 공개될 예정이다.
NeRF 기하 조형: 3D 인식 얼굴 GAN의 인간 선호 미세조정
Sculpting NeRF Geometry: Human-Preference Fine-Tuning of a 3D-Aware Face GAN
3D 생성을 위한 인간 피드백 강화학습(RLHF)은 여러 연구에서 이미 정착되었지만, 기존 파이프라인 대부분은 명시적 표면 표현을 최적화하며, 흔히 radiance field를 메시로 변환하고 표면 감독 데이터 위주로 학습한다. 우리는 대신 외부에서 제공되는 메시나 형상 prior 없이, radiance field 밀도($\sigma$) 값에 대한 학습된 보상으로 사전학습된 3D 인식 생성 모델을 직접 미세조정한다. 보상 모델은 사전학습이 필요 없고, 소량의 선호 샘플로 쉽게 학습되며, 3D 기하에서 견고한 개선을 이끈다. 무조건부 3D 인식 얼굴 GAN(EG3D)을 대상으로, 우리의 보상은 신경 radiance field(NeRF)의 연속 3D 밀도 필드를 직접 읽어 기하 전용 학습 신호를 제공하며, 텍스트 조건화, 메시 추출, 다중 시점 렌더링이 모두 필요하지 않다. 밀도 일관성 제약은 기하가 재형성되는 동안 2D 외관을 질적으로 유사하게 유지하며, 측정 가능하나 제한된 분포 비용(FID-50k가 4.09에서 6.66으로 증가)을 수반한다: 개념 증명으로 단일 어노테이터의 선호만으로 미세조정된 생성기를 학습했을 때, pairwise 비교의 74.4%에서 사용자가 선호하는 얼굴 기하를 생성한다.
NeuMesh++: 분리된 신경망 메시 기반 암시적 필드를 통한 다용도 및 효율적인 체적 편집
NeuMesh++: Towards Versatile and Efficient Volumetric Editing with Disentangled Neural Mesh-based Implicit Field
최근 신경망 암시적 렌더링 기술은 빠르게 발전하여 새로운 시점 합성(novel view synthesis)과 3D 장면 재구성에서 상당한 이점을 보여주었습니다. 그러나 편집 목적의 기존 신경망 렌더링 방법은 강체 변환(rigid transformation)이나 카테고리 특정 편집과 같은 제한된 기능만을 제공합니다. 본 논문에서는 메시 정점에 분리된 기하학, 텍스처, 의미론적(semantic) 코드로 신경 방사장(neural radiance field)을 인코딩하는 새로운 메시 기반 표현을 제시합니다. 이는 메시 안내 기하학 편집, 텍스처 교환, 채우기 및 페인팅 작업을 포함한 지정된 텍스처 편집, 그리고 의미론적 안내 편집을 포함하는 효율적이고 포괄적인 편집 기능 세트를 가능하게 합니다. 이를 위해 렌더링 품질과 학습(training) 안정성을 향상시키기 위한 새로운 로컬 공간 파라미터화(local space parameterization), 텍스처 편집의 충실도를 높이기 위한 정점 학습 가능 수정 색상, 정밀한 텍스처 편집을 실현하기 위한 공간 인식 최적화 전략, 그리고 암시적 필드 편집의 번거로운 주석 작업을 줄이기 위한 의미론적 보조 영역 선택 기법을 개발했습니다. 실제 데이터셋과 합성 데이터셋 모두에 대한 광범위한 실험과 편집 예제는 표현 품질과 편집 능력에 있어 우리 방법의 우수성을 입증합니다. 프로젝트 페이지: https://zju3dv.github.io/neumeshplusplus/
Coherence-Guided Pyramid Self-Contrastive Disentanglement for Adaptive IQ Signal Denoising in Synthetic Aperture Ultrasound
제약 기반 잠재 상태 모델링: 상충하는 제약 조건 하에서의 표현 학습에 대한 통합적 관점
Constrained latent state modeling: A unifying perspective on representation learning under competing constraints
시계열, 다중 모달(multimodal) 및 부분 관측 데이터로부터 잠재 표현(latent representation)을 학습하려면 잠재 상태가 어떤 정보를 유지하고 버리며 체계화해야 하는지 명시해야 합니다. 기존 접근 방식들은 이러한 요구 사항을 이종의 목적 함수를 통해 인코딩하므로, 방법론 간의 비교가 어렵고 학습된 표현을 해석하기 어렵게 만듭니다. 본 논문에서는 잠재 상태를 예측 충분성, 최소성, 시간적 일관성, 관측 호환성, 방해 요인에 대한 불변성, 구조적 제약이라는 6가지 상호보완적 특성으로 규정하는 개념적 프레임워크인 제약 기반 잠재 상태 모델링(CLSM)을 제안합니다. CLSM은 이러한 특성들을 이를 유도하는 데 사용되는 대리 목적 함수 및 이를 평가하는 데 사용되는 진단 지표와 분리하며, 제약 조건들의 조합이 허용 가능한 표현 공간을 제한함으로써 식별 가능성(identifiability)을 어떻게 향상시킬 수 있는지 명확히 합니다. 저자들은 이 공통 설계 공간을 통해 주요 표현 학습 계열들을 재해석하고, 제어된 합성 벤치마크를 통해 프레임워크를 설명합니다. 실험 결과는 예측 목표, 대리 공식화, 매개변수화 및 최적화에 따라 목적 함수들이 어떻게 서로 다른 잠재 체계화와 경험적 트레이드오프를 생성하는지 보여줍니다. 참조 구현체, 재현 가능한 실험, 문서 및 모델 카드가 포함된 관련 저장소: https://github.com/gwenole-quellec/clsm
토론
이 논문과 연결된 포럼 글이 아직 없습니다.