PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11023v1cs.CV

아이덴티티 보존 비디오 생성을 위한 표정 다양성 참조 이미지

Expression-Diverse References for Identity-Preserving Video Generation

아이덴티티 보존 비디오 생성(Identity-preserving video generation)은 사실적인 비디오를 합성하면서 대상(subject)의 아이덴티티를 유지하는 것을 목표로 한다. 그러나 단일 참조 인물 사진(reference portrait)은 하나의 얼굴 구성(facial configuration) 하에서만 대상의 외형을 포착한다. 표정이 변화함에 따라 얼굴 외형은 아이덴티티에 매우 특이적인 방식으로 달라질 수 있으며, 이로 인해 보지 못한 표정 하에서의 대상 외형은 참조 이미지만으로는 충분히 결정되지 않는다. 이러한 표정 의존적 변화는 평가 또한 복잡하게 만든다: 동일 인물의 실제 이미지라도 강한 표정 하에서는 중립(neutral) 참조와의 유사도가 감소할 수 있다. 우리는 이러한 한계를 생성과 평가 양쪽 관점에서 조사한다. 먼저, 우리는 통제된 사진과 MEAD 비디오를 사용하여 표정 강도(expression intensity)에 따라 얼굴 인식 유사도(face-recognition similarity)가 어떻게 달라지는지를 정량화한다. 그다음, 우리는 다양한 표정 의존적 얼굴 구성을 포착하는 작지만 표현력 있는 참조 갤러리(reference gallery)를 구축한다. 이 갤러리와의 매칭은 표정이 풍부한 움직임(expressive motion) 하에서 아이덴티티 유사도에 대해 더 견고한 측정치를 제공한다. 표정 강도에 따른 성능 저하를 추가로 드러내기 위해, 우리는 약한(mild), 강한(intense), 극단적인(extreme) 표정에 대해 아이덴티티 유사도를 각각 별도로 보고한다. 생성 측면에서는, 우리는 Stand-In을 확장하여 표정 다양성 참조 세트(expression-diverse reference sets)에 조건화(condition)하도록 하고, 학습 비디오로부터 일관되면서도 다양한 얼굴 크롭(face crop)을 추출하는 데이터 큐레이션 파이프라인(data-curation pipeline)을 개발한다. 단일 인물 사진만 사용 가능한 실용적인 환경에서는, 사전학습된 얼굴 재연(facial reenactment) 모델로 추가적인 표정을 합성하여 참조 세트를 구성한다. 우리의 통제된 벤치마크(benchmark)에서, 실제 참조 세트와 합성 참조 세트 모두 세 가지 표정 강도 구간 전반에서 평가된 베이스라인(baseline)보다 아이덴티티 유사도 측면에서 더 우수한 성능을 보였으며, 극단적인 표정에서 가장 큰 개선을 보였다.