VividFace: A Diffusion-Based Hybrid Framework for High-Fidelity Video Face Swapping
원문 초록
Video face swapping is becoming increasingly popular across various applications, yet existing methods primarily focus on static images and struggle with video face swapping because of temporal consistency and complex scenarios. In this paper, we present the first diffusion-based framework specifically designed for video face swapping. Our approach introduces a novel image-video hybrid training framework that leverages both abundant static image data and temporal video sequences, addressing the inherent limitations of video-only training. The framework incorporates a specially designed diffusion model coupled with a VidFaceVAE that effectively processes both types of data to better maintain temporal coherence of the generated videos. To further disentangle identity and pose features, we construct the Attribute-Identity Disentanglement Triplet (AIDT) Dataset, where each triplet has three face images, with two images sharing the same pose and two sharing the same identity. Enhanced with a comprehensive occlusion augmentation, this dataset also improves robustness against occlusions. Additionally, we integrate 3D reconstruction techniques as input conditioning to our network for handling large pose variations. Extensive experiments demonstrate that our framework achieves superior performance in identity preservation, temporal consistency, and visual quality compared to existing methods, while requiring fewer inference steps. Our approach effectively mitigates key challenges in video face swapping, including temporal flickering, identity preservation, and robustness to occlusions and pose variations.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PhysForge: 분리 가능한 컴포넌트를 활용한 재질 제어 가능 3D 재구성
PhysForge: Material-Controllable 3D Reconstruction with Separable Components
물리적 3D 생성의 최근 발전은 시뮬레이션 가능한 기계적 거동을 갖춘 시각적으로 충실한 에셋 생성을 가능하게 했습니다. 그러나 기존 방법들은 외형 기반 추론(inference)을 넘어선 재질 거동에 대해 제한적인 제어만을 제공하며, 물체와 의미론적 부품 간의 복잡한 상호작용으로부터 물리적 특성을 추정하는 데 어려움을 겪습니다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 재질 제어 가능한 물리 피팅과 컴포넌트 수준의 상호작용 모델링을 위한 상호보완적인 두 가지 모듈로 구성된 비디오 확산 모델(Video Diffusion Model, VDM) 기반 프레임워크인 PhysForge를 제안합니다. 첫 번째 모듈인 PhysFit은 재질 조건화 VDM 동역학을 물리적 특성 피팅의 참조로 활용하며, 재질 특성을 드러내는 상호작용에 집중하기 위한 윈도우 피팅과 VDM이 생성한 비물리적 환각(hallucination) 모션을 재질 응답으로부터 분리하기 위한 Hallucinated Forcing을 도입합니다. 두 번째 모듈인 PhysComp는 복잡한 상호작용을 개별 객체와 의미론적 컴포넌트로 분해하여, 물리적 매개변수를 독립적으로 최적화하고 결합 시뮬레이션을 위해 유연하게 구성할 수 있도록 지원합니다. PhysAssets 및 Google Scanned Objects에 대한 실험을 통해 기존 방법과 비교하여 PhysForge가 복잡한 상호작용을 위한 컴포넌트 수준의 물리 모델링을 지원하는 동시에 재질 의존적 물리 응답에 대해 더 강력한 제어력을 제공함을 입증합니다. 본 방법은 흔한 재질과 흔하지 않은 재질 모두에서 최고의 CLIP 및 물리적 제어 가능성 점수를 달성했으며, 정성적 비교, 컴포넌트 수준의 소거 연구, 사용자 연구를 통해 이러한 개선 효과를 추가로 뒷받침합니다. 프로젝트 페이지는 https://masterwanna.github.io/PhysForge.html 에서 확인할 수 있습니다.
LinSlot: 슬롯 기반 객체 표현에서 비지도 속성 발견을 위한 선형 표현 가설의 활용
LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation
본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.
ManifoldSplat: 언어 유도 기반 3D 가우시안 헤드 아바타의 시맨틱 형상 편집
ManifoldSplat: Language-Guided Semantic Shape Editing of 3D Gaussian Head Avatars
고충실도(High-fidelity) 3D 헤드 아바타는 실사에 가까운 품질에 도달했습니다. 최근 방식들은 텍스트 기반 조작을 가능하게 하지만, 특징들이 서로 얽히거나 기하학적 일관성이 결여되는 경우가 많아 세밀한 국소적 제어를 제공하는 데 어려움을 겪고 있습니다. 자연어를 통해 기하학적 구조를 수정하는 것은 현재 프롬프트(prompt)별 느린 최적화를 필요로 하거나 정체성(identity) 및 리깅(rigging)을 저해합니다. 본 논문에서는 단안 비디오에서 재구성된 애니메이션 가능한 3D 가우시안 스플래팅(3D Gaussian Splatting) 아바타에 대해, 언어 유도 기반 시맨틱 형상 편집을 수행하는 최초의 엔드투엔드(end-to-end) 프레임워크인 ManifoldSplat을 제시합니다. 비정형 가우시안 클라우드를 직접 최적화하는 대신 정형화된 FLAME 다양체(manifold) 내에서 편집을 수행함으로써, 정체성과 애니메이션을 엄격하게 보존합니다. 또한 피드포워드 형상 델타를 제공하는 영역별 얽힘 해제 조건부 변이형 오토인코더(CVAE)인 DeltaRegion과 함께, 시점 일관적인 세부 사항을 복원하기 위한 정제 단계를 도입합니다. ManifoldSplat은 소비자용 GPU에서 아바타를 약 90초 만에 재구성 및 편집하며, 약 800 FPS로 렌더링합니다. 광범위한 평가를 통해 본 접근법이 국소적 프롬프트 정렬, 기하학적 일관성, 정체성 보존 측면에서 새로운 SOTA(state-of-the-art)를 달성함을 입증합니다. 프로젝트 페이지 및 코드: https://a-canela.github.io/manifoldsplat/
EvenSplat: 노출 및 조명 변화 환경의 가우시안 스플래팅을 위한 결합형 2D-3D 분해
EvenSplat: Coupled 2D-3D Decomposition for Gaussian Splatting under Exposure and Illumination Variation
균일한 조명 아래에서 촬영된 표면은 어느 각도에서 보아도 거의 동일한 외관을 나타내지만, 불균일한 조명 아래의 동일한 표면은 그렇지 않습니다. 시점 간에 노출이 변하고, 단일 이미지 내에서도 조명이 달라지며, 국소적으로 강한 광원은 한 영역을 밝게 만드는 동시에 인접 영역에는 그림자를 남깁니다. 3D 가우시안 스플래팅(3D Gaussian Splatting)과 같은 다중 뷰 재구성 기법들은 이러한 조명 아티팩트를 마치 장면 자체의 고유한 속성인 것처럼 취급하여, 촬영 환경에 특화된 조명을 복원되는 기하학적 구조 및 색상과 얽히게 만듭니다. 본 논문에서는 이 둘을 분리하는 프레임워크인 EvenSplat을 제안합니다. EvenSplat은 이미지 공간의 조명 분해를 가우시안이 지닌 조명 필드와 결합하여, 장면의 2차원 및 3차원 뷰 간에 동일한 조명 해석이 공유되도록 합니다. 또한 카메라 응답 네트워크와 국소 노출 보상 모듈은 학습(training) 이미지 전반에 걸쳐 남아 있는 전역적 및 잔차 차이를 흡수합니다. 실제 촬영 및 시뮬레이션 벤치마크 기반의 여러 데이터셋과 다양한 형태의 불균일한 조명(시점 간 노출, 공간적 조명 변화, 고대비 조명)에 걸친 광범위한 실험을 통해, EvenSplat은 특히 고대비 조명 환경에서 기존 최첨단(SOTA) 방법들보다 전반적으로 우수한 성능을 보입니다.
URHead: 헤드 아바타의 메시-3DGS 공동 최적화를 위한 통합 UV 공간 표현
URHead: A Unified UV-Space Representation for Joint Mesh-3DGS Optimization in Head Avatars
우리는 메시-가우시안 통합을 근본적으로 재정의하는 고충실도·애니메이션 가능 헤드 아바타를 위한 통합 표현인 URHead를 제안한다. 메시 기반 방법은 정밀한 기하학적 제어를 제공하지만 사실적인 디테일이 부족한 반면, 가우시안 기반 접근법은 사실성을 달성하지만 구조적 일관성이 부족하며, 기존 하이브리드 솔루션은 각 접근법의 상호 보완적 강점을 충분히 활용하지 못한다. 핵심 기여는 두 표현이 공통 UV 파라미터화를 공유하는 UV 공간 통합이다. 적응형 가우시안 샘플링을 통한 공동 최적화를 통해, 본 방법은 각 구성 요소에 적절한 역할을 자동으로 분리하고 할당하는 것을 학습한다. URHead는 대상자 고유의 디테일을 보존하면서 완전한 파라미터 제어 가능성을 유지하며, 재구성 품질과 애니메이션 일관성에서 기존 최신(state-of-the-art) 방법들을 능가한다.
EditCLEVR: 객체 중심 표현의 구성적 충실성을 위한 전후 쌍 장면 개입 벤치마크
EditCLEVR: A Paired-Scene Intervention Benchmark for Compositional Faithfulness of Object-Centric Representations
객체 중심 학습(object-centric learning)은 장면을 객체 단위로 표현하여 각 객체의 속성을 새로운 조합에서 재사용할 수 있게 하는 것을 목표로 한다. 기존 평가는 일반적으로 분할(segmentation), 단일 이미지 요인(factor) 예측, 또는 하류(downstream) 정확도를 점수화하지만, 이러한 테스트는 통제된 의미적 편집(semantic edit) 하에서 객체별(per-object) 표현이 올바르게 동작하는지를 직접적으로 검증하지는 않는다. 우리는 EditCLEVR을 소개한다. EditCLEVR은 전후 쌍 장면 개입 벤치마크로, 각 예시는 동일한 객체 인덱스와 장면 레이아웃을 가진 CLEVR 스타일 렌더의 전/후 쌍을 포함하며, 알려진 한 객체에 대한 정확히 하나의 알려진 속성 변경이 있거나 드리프트(drift) 측정을 위한 편집 없는(no-edit) 재렌더링을 포함한다. 이 프로토콜은 표현 변화의 국소화(localization) 및 안정성(stability)에 대한 프로브 없는(probe-free) 진단을 포함하며, 분포 내(in-distribution) 및 구성적 분포 외(compositional out-of-distribution, OOD) 테스트 스위트에서 예측된 장면 변화가 의도된 개입과 일치하는지를 검증하는 프로브 디코딩(probe-decoded) 의미적 충실성 지표와 함께 제공된다. 이를 통해 코드 공간(code-space) 이동과 디코딩된 객체-속성 정확도를 별도로 평가할 수 있다. 우리는 의미적 지표 Scene-Graph Intervention Accuracy(SGIA)를 도입한다. SGIA는 전체 after-scene 예측이 정확하고, 전에서 후로 예측된 유일한 의미적 변화가 의도된 객체-요인(object-factor) 편집이어야 한다. 또한 Delta-SGIA를 보조 진단으로 정립한다. Delta-SGIA는 전체 after-scene 그래프가 정확할 필요 없이 단일 위치(single-site) 변경 패턴을 검증한다. 정답 마스크(ground-truth-mask) 백본, 학습된 슬롯(learned-slot) 모델, SAM 2 + frozen-ViT 모델, 그리고 하나의 마스크-특징(mask-feature) 하이브리드에 대한 기준선 평가 결과, CoGenT-OOD-core 성능 저하는 정답 인스턴스 마스크 하에서도 지속될 수 있으며, 마스크 출처는 고유 성능의 일부만 설명하고 전부는 아니며, 국소성(locality) 또는 안정성만으로는 의미적 충실성을 과대평가할 수 있음을 보여준다. 코드는 https://github.com/torux-bughunter/EditCLEVR 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.