아이덴티티 보존 비디오 생성을 위한 표정 다양성 참조 이미지
Expression-Diverse References for Identity-Preserving Video Generation
한국어 초록
아이덴티티 보존 비디오 생성(Identity-preserving video generation)은 사실적인 비디오를 합성하면서 대상(subject)의 아이덴티티를 유지하는 것을 목표로 한다. 그러나 단일 참조 인물 사진(reference portrait)은 하나의 얼굴 구성(facial configuration) 하에서만 대상의 외형을 포착한다. 표정이 변화함에 따라 얼굴 외형은 아이덴티티에 매우 특이적인 방식으로 달라질 수 있으며, 이로 인해 보지 못한 표정 하에서의 대상 외형은 참조 이미지만으로는 충분히 결정되지 않는다. 이러한 표정 의존적 변화는 평가 또한 복잡하게 만든다: 동일 인물의 실제 이미지라도 강한 표정 하에서는 중립(neutral) 참조와의 유사도가 감소할 수 있다. 우리는 이러한 한계를 생성과 평가 양쪽 관점에서 조사한다. 먼저, 우리는 통제된 사진과 MEAD 비디오를 사용하여 표정 강도(expression intensity)에 따라 얼굴 인식 유사도(face-recognition similarity)가 어떻게 달라지는지를 정량화한다. 그다음, 우리는 다양한 표정 의존적 얼굴 구성을 포착하는 작지만 표현력 있는 참조 갤러리(reference gallery)를 구축한다. 이 갤러리와의 매칭은 표정이 풍부한 움직임(expressive motion) 하에서 아이덴티티 유사도에 대해 더 견고한 측정치를 제공한다. 표정 강도에 따른 성능 저하를 추가로 드러내기 위해, 우리는 약한(mild), 강한(intense), 극단적인(extreme) 표정에 대해 아이덴티티 유사도를 각각 별도로 보고한다. 생성 측면에서는, 우리는 Stand-In을 확장하여 표정 다양성 참조 세트(expression-diverse reference sets)에 조건화(condition)하도록 하고, 학습 비디오로부터 일관되면서도 다양한 얼굴 크롭(face crop)을 추출하는 데이터 큐레이션 파이프라인(data-curation pipeline)을 개발한다. 단일 인물 사진만 사용 가능한 실용적인 환경에서는, 사전학습된 얼굴 재연(facial reenactment) 모델로 추가적인 표정을 합성하여 참조 세트를 구성한다. 우리의 통제된 벤치마크(benchmark)에서, 실제 참조 세트와 합성 참조 세트 모두 세 가지 표정 강도 구간 전반에서 평가된 베이스라인(baseline)보다 아이덴티티 유사도 측면에서 더 우수한 성능을 보였으며, 극단적인 표정에서 가장 큰 개선을 보였다.
원문 초록
Identity-preserving video generation aims to maintain a subject's identity while synthesizing realistic videos. Yet a single reference portrait captures the subject's appearance under only one facial configuration. As expressions change, facial appearance can vary in highly identity-specific ways, leaving the subject's appearance under unseen expressions underdetermined by the reference alone. This expression-dependent variation also complicates evaluation: similarity to a neutral reference may decrease under strong expressions even for real images of the same person. We investigate this limitation from both generation and evaluation perspectives. First, we quantify how face-recognition similarity varies with expression intensity using controlled photographs and MEAD videos. We then construct a compact yet expressive reference gallery that captures diverse expression-dependent facial configurations. Matching against this gallery provides a more robust measure of identity similarity under expressive motion. To further expose performance degradation with expression intensity, we report identity similarity separately for mild, intense, and extreme expressions. For generation, we extend Stand-In to condition on our expression-diverse reference sets and develop a data-curation pipeline that extracts consistent yet diverse face crops from training videos. In practical settings where only a single portrait is available, we construct the reference set by synthesizing additional expressions with a pretrained facial reenactment model. On our controlled benchmark, both real and synthesized reference sets outperform the evaluated baselines in identity similarity across all three expression-intensity regimes, with the largest improvements for extreme expressions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ID-V2V: 정체성 보존 비디오 재스타일화
ID-V2V: Identity-Preserving Video Restylization
시각적 스토리텔링에서 인간의 퍼포먼스는 창의적 의도와 서사적 의미의 핵심이다. 그러나 생성형 비디오 모델은 유연한 시각적 편집을 가능하게 하면서도 인간의 정체성과 퍼포먼스를 보존하는 것이 여전히 어렵다. 우리는 이 과제를 정체성 보존 비디오 재스타일화로 공식화한다. 이는 편집된 키프레임으로 지정된 장면, 조명, 스타일 변화를 소스 비디오 전체에 전파하면서, 표정, 시선, 입술 동기화를 포함한 얼굴 유사성과 퍼포먼스를 보존하는 작업이다. 핵심 장애물은 paired 학습 데이터의 부재인데, 실제 환경에서는 정체성을 보존한 재스타일화 비디오 쌍이 드물기 때문이다. 이를 해결하기 위해 우리는 소스 기반 정체성 보존과 편집 주도 비디오 합성의 분리를 제안한다. 핵심 통찰은 얼굴 외형과 표정은 불변으로 유지되어야 하며, 조명이 주요하게 허용되는 변화라는 점이다. 따라서 정체성 보존을 비디오 재조명 문제로, 시각적 편집 전파는 편집된 키프레임이 안내하는 제어된 비디오 합성으로 모델링한다. 이 공식화를 바탕으로 우리는 ID-V2V를 제안한다. 이는 상호 보완적인 제어 신호를 통합한 비디오-투-비디오 생성 프레임워크로, 재조명된 얼굴 영역과 얼굴 노멀 맵이 얼굴 유사성과 퍼포먼스를 엄격히 제약하고, 편집된 키프레임과 깊이 시퀀스가 유연하고 시간적으로 일관된 생성을 가능하게 한다. 이 설계는 단일 비디오로부터 학습 쌍을 구성할 수 있어 희소한 paired 데이터가 필요 없게 한다. 광범위한 실험 결과 ID-V2V는 얼굴 유사성과 세밀한 얼굴 퍼포먼스 보존에서 기존 방법을 크게 능가하며, 단일 및 다중 피사체 시나리오를 모두 지원하고 높은 시각적 품질을 제공하여, 실제 콘텐츠 제작을 위한 인간 중심 도구로서의 잠재력을 보여준다. 코드는 https://github.com/Eyeline-Labs/ID-V2V 에서 제공된다.
적응형 정체성 앵커링: 비디오 얼굴 스와핑을 위한 합성 페어드 지도의 폐루프 키프레임 배치
Adaptive Identity Anchoring: Closed-Loop Keyframe Placement for Synthetic Paired Supervision in Video Face Swapping
비디오 얼굴 스와핑에는 자연스러운 페어드 지도(paired supervision)가 없다. 한 사람의 얼굴이 다른 사람의 비디오 동작을 수행하는 실제 영상은 존재하지 않는다. 현재 가장 강력한 해답인 DreamID-V의 SyncID-Pipe는 실제 클립의 정확히 두 프레임—첫 프레임과 마지막 프레임—에서 정체성(identity)을 교체하고, 나머지는 포즈(pose) 시퀀스만으로 재생성하여 페어를 생성한다. 포즈는 스와핑된 정체성의 외형 정보를 담지 않으므로, 긴 클립, 가림(occlusion), 극단적인 포즈 변화에서 합성된 정체성은 앵커링되지 않은 긴 구간을 거치며 표류(drift)할 수 있다. 공개된 ablation 연구 중 앵커 개수나 배치를 검토한 것은 없다. 우리는 적응형 정체성 앵커링(AIA)을 제안한다: (i) 합성기를 임의의 앵커 집합에 일반화하며, 이는 프레임에 대한 조건화가 해당 토큰의 노이즈를 0으로 고정(clamping)하는 diffusion-forcing 스타일 트랜스포머에 구조적으로 자연스럽다; (ii) 폐루프(closed-loop) 피드백 루프로 앵커를 배치하며, 생성된 모든 프레임을 실제 참조 정체성과 대조해 점수를 매기고, 페어가 임계값을 통과하거나 예산을 소진할 때까지 최저 점수 프레임에 이미지 얼굴 스와핑 앵커를 삽입한다; (iii) 루프의 판정을 자동 데이터 필터로 재사용한다. 두 번째 병리 현상인 과도하게 매끄러운 피부의 뷰티 필터(beauty-filter) 느낌도 같은 근본 원인을 갖는다. 미세 텍스처(micro-texture)는 정체성과 마찬가지로 파이프라인의 어떤 목적 함수에도 반영되지 않는다. 따라서 우리는 AIA를 현실 참조 텍스처 복원(Reality-Referenced Texture Restoration)과 결합한다. 각 실제 프레임의 비얼굴 영역에서의 매칭된 re-graining, 실제 영상으로부터의 정체성 이하(sub-identity) 미세 텍스처의 밴드 분할(band-split) 전이, 그리고 영상 자체의 스펙트럼이 심판하는 두 번째 스펙트럴 수용 채널을 포함한다. 정체성 앵커 밀도는 조절 가능한 품질 다이얼이라고 주장하며, 제안을 검증하거나 반박할 수 있는 반증 가능한 실험—표류 대 간격 곡선, 동일 예산에서의 균등 대 적응형 배치, AIA로 생성된 데이터에 대한 student 학습, 인간 뷰티 필터 연구를 포함한 텍스처 ablation—을 명시한다.
미세표정 인식을 위한 행동 단위(AU) 기반 합성 비디오 생성
AU-Guided Synthetic Video Generation for Micro-Expression Recognition
미세표정 인식은 기존 데이터셋의 소규모, 좁은 인구통계학적 범위, 제한된 감정 레이블로 인해 한계가 있다. 우리는 AU 기반 이미지-투-비디오 생성으로 구축된 합성 미세표정 데이터셋인 EquiME를 소개한다. EquiME는 다섯 가지 목표 감정에 걸쳐 15K개의 소스 얼굴 이미지로부터 생성된 75K개의 비디오를 포함하며, 자동으로 추론된 인구통계학적 메타데이터와 비디오 품질 측정값도 함께 제공된다. 우리는 프레임 쌍 유사도, 공간 변화, 무참조 지각 품질 메트릭과 함께 SAMM 및 CASME II에 대한 교차 데이터셋 미세표정 인식(MER) 실험을 통해 EquiME를 평가한다. EquiME로 학습된 모델은 SAMM 및 CASME II에서 경쟁력 있는 교차 데이터셋 성능을 달성하며, 평가된 네 가지 아키텍처 전반에 걸쳐 비교적 낮은 변동성을 보인다. 본 논문은 데이터셋 설계, 비디오 생성에 사용된 구조화된 AU 조건화 파이프라인, 그리고 EquiME를 합성 MER 자원으로 평가하는 데 필요한 실증적 근거에 초점을 맞춘다. 프로젝트 페이지: https://kirito-blade.github.io/me-vlm/
악마는 누출에 있다: 고충실도 헤어스타일 전환을 위한 분리된 이중 정제 프레임워크
The Devil Is in the Leakage: A Disentangled Dual-Purification Framework for High-Fidelity Hairstyle Transfer
헤어스타일 전환은 참조 이미지의 헤어스타일을 소스 피사체에 이식하면서 소스 아이덴티티를 보존하여 사실적인 초상화를 합성하는 것을 목표로 한다. 최근 기반 모델들은 강력한 생성 능력을 보여주지만, 정밀한 로컬 편집에 필요한 제로샷 분리에 어려움을 겪으며, 참조 헤어스타일이 원래의 아이덴티티 및 포즈와 얽히는 문제가 자주 발생한다. 기존의 확산 기반 파이프라인은 일반적으로 소스에서 "민머리" 이미지를 먼저 생성한 후 참조에서 헤어스타일 특징을 주입하는 방식으로 작업을 분해한다. 그러나 이 패러다임이 근본적인 누출 문제를 겪고 있음을 보인다. 헤어스타일에서의 아이덴티티 누출(Identity Leakage in Hairstyle)은 헤어스타일 특징이 참조 아이덴티티 또는 포즈 정보를 보유할 때 발생하며, 민머리에서의 결함 누출(Flaw Leakage in Bald)은 민머리 이미지의 잔류 아티팩트가 최종 합성에 전파될 때 발생한다. 두 문제를 모두 해결하기 위해, 두 가지 상보적인 학습 시간 정규화기를 도입하는 이중 정제 프레임워크(DPF, Dual-Purification Framework)를 제안한다. 적대적 헤어스타일 정제(AHP, Adversarial Hairstyle Purification)는 상호 정보 기반 적대적 목적 함수 하에서 아이덴티티 예측 가능성을 억제함으로써 헤어스타일 특징을 정제한다. 대조적 기하학적 정제(CGP, Contrastive Geometric Purification)는 대조적 목적 함수로 ControlNet 경로를 정규화하여 민머리 조건의 기하학적 아티팩트에 대한 모델의 의존성을 줄인다. 헤어스타일 표현과 기하학적 경로를 공동으로 정제함으로써, DPF는 고충실도의 아이덴티티 보존 헤어스타일 전환을 달성하고 다양한 벤치마크에서 최첨단 성능을 기록한다.
HumanForge: 멀티 에이전트 위조 근거를 갖춘 인간 중심 딥페이크 영상 벤치마크
HumanForge: A Human-Centric Deepfake Video Benchmark with Multi-Agent Forgery Rationales
비디오 확산 모델과 시간적 편집 도구의 급격한 발전으로 매우 사실적인 인간 중심 영상 생성이 가능해졌으며, 이는 디지털 콘텐츠 포렌식에 전례 없는 도전 과제를 제기하고 있다. 기존 벤치마크는 주로 얼굴 교체 또는 글로벌 텍스트-투-비디오 합성에 초점을 맞추고 있어, 인간-사물 또는 인간-인간 상호작용과 멀티모달 정렬이라는 중요한 차원을 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 통합된 대규모 다중 패러다임 인간 중심 영상 위조 데이터셋인 HumanForge를 소개한다. 노동 집약적인 수동 레이블링이나 환각을 일으키는 단일 프롬프트 없이 이 데이터셋을 구축하고 주석을 달기 위해, 우리는 LangGraph 위에 구축된 모듈식 능동 멀티 에이전트 파이프라인인 Gen2Anno를 제안한다. Gen2Anno는 소스 프로파일링부터 전문가 혼합(MoE) 기반 참조 분석 및 폐루프 포렌식 검증에 이르기까지 6개의 전문화된 에이전트를 조율하여, 18,000개 이상의 고충실도 영상 세그먼트를 생성하고 이진 결정, 세밀한 아티팩트 범주, 시공간적 위치 지정을 포함하는 구조화된 대조적 옴니 주석을 생성한다. 최신 전통적 탐지기와 대규모 멀티모달 모델(LMM)을 사용한 광범위한 벤치마크는 HumanForge에서의 제로샷 일반화 및 세밀한 추론의 중요한 도전 과제를 보여준다. 코드와 데이터셋은 공개적으로 공개될 예정이다.
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
9 pages, 8 figures