PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11023v1cs.CV

아이덴티티 보존 비디오 생성을 위한 표정 다양성 참조 이미지

Expression-Diverse References for Identity-Preserving Video Generation

아이덴티티 보존 비디오 생성(Identity-preserving video generation)은 사실적인 비디오를 합성하면서 대상(subject)의 아이덴티티를 유지하는 것을 목표로 한다. 그러나 단일 참조 인물 사진(reference portrait)은 하나의 얼굴 구성(facial configuration) 하에서만 대상의 외형을 포착한다. 표정이 변화함에 따라 얼굴 외형은 아이덴티티에 매우 특이적인 방식으로 달라질 수 있으며, 이로 인해 보지 못한 표정 하에서의 대상 외형은 참조 이미지만으로는 충분히 결정되지 않는다. 이러한 표정 의존적 변화는 평가 또한 복잡하게 만든다: 동일 인물의 실제 이미지라도 강한 표정 하에서는 중립(neutral) 참조와의 유사도가 감소할 수 있다. 우리는 이러한 한계를 생성과 평가 양쪽 관점에서 조사한다. 먼저, 우리는 통제된 사진과 MEAD 비디오를 사용하여 표정 강도(expression intensity)에 따라 얼굴 인식 유사도(face-recognition similarity)가 어떻게 달라지는지를 정량화한다. 그다음, 우리는 다양한 표정 의존적 얼굴 구성을 포착하는 작지만 표현력 있는 참조 갤러리(reference gallery)를 구축한다. 이 갤러리와의 매칭은 표정이 풍부한 움직임(expressive motion) 하에서 아이덴티티 유사도에 대해 더 견고한 측정치를 제공한다. 표정 강도에 따른 성능 저하를 추가로 드러내기 위해, 우리는 약한(mild), 강한(intense), 극단적인(extreme) 표정에 대해 아이덴티티 유사도를 각각 별도로 보고한다. 생성 측면에서는, 우리는 Stand-In을 확장하여 표정 다양성 참조 세트(expression-diverse reference sets)에 조건화(condition)하도록 하고, 학습 비디오로부터 일관되면서도 다양한 얼굴 크롭(face crop)을 추출하는 데이터 큐레이션 파이프라인(data-curation pipeline)을 개발한다. 단일 인물 사진만 사용 가능한 실용적인 환경에서는, 사전학습된 얼굴 재연(facial reenactment) 모델로 추가적인 표정을 합성하여 참조 세트를 구성한다. 우리의 통제된 벤치마크(benchmark)에서, 실제 참조 세트와 합성 참조 세트 모두 세 가지 표정 강도 구간 전반에서 평가된 베이스라인(baseline)보다 아이덴티티 유사도 측면에서 더 우수한 성능을 보였으며, 극단적인 표정에서 가장 큰 개선을 보였다.

arXiv:2601.01352v2cs.CV

Slot-ID: 슬롯 기반 시간적 정체성 인코딩을 통한 참조 비디오로부터의 정체성 보존 비디오 생성

Slot-ID: Identity-Preserving Video Generation from Reference Videos via Slot-Based Temporal Identity Encoding

인간의 정체성을 보존하는 텍스트-투-비디오(text-to-video) 생성은 시점, 표정, 조명, 움직임의 큰 변화 상황에서 여전히 어려운 과제로 남아 있다. 기존 방법들은 생성기를 단일 참조 인물 사진(portrait)에 조건화하지만, 정적 이미지는 시점과 표정 변화에 따라 정체성을 나타내는 단서(cue)가 어떻게 변화하는지 포착할 수 없어 얼굴 변형, 포즈 고정(pose locking), 정체성 드리프트(identity drift), 또는 과도하게 매끄러워진 얼굴로 이어진다. 우리는 짧은 참조 클립이 단일 이미지보다 더 풍부한 시간적·다중 시점 정체성 단서를 자연스럽게 제공한다는 점을 관찰하였으며, 이는 비디오 참조 기반 정식화(video-referential formulation)의 동기가 된다. 그러나 이러한 더 풍부한 신호는 새로운 과제를 야기한다: 정체성 증거가 여러 프레임에 걸쳐 분산되어 있으며, 제한된 토큰 예산 하에서 이를 압축되고 안정적인 표현으로 증류(distill)해야 한다는 것이다. 이를 위해 우리는 고정된(frozen) 텍스트-투-비디오 백본 위에 구축된 경량 정체성 조건화 프레임워크인 Slot-ID를 제안한다. Slot-ID는 싱크혼(Sinkhorn) 라우팅 기반의 반복적 읽기(iterative reading)를 사용하는 슬롯 기반 시간적 정체성 인코더를 통해 참조 클립으로부터 압축되고 안정적인 정체성 토큰(token) 집합을 증류하며, 이는 이중 소스 조건화를 위한 이미지 앵커 스트림(image-anchor stream)으로 보완된다. 광범위한 실험을 통해 Slot-ID가 정체성 보존과 시각적 자연스러움 측면에서 최신(state-of-the-art) 방법들을 능가하는 동시에 프롬프트(prompt) 추종 성능에서도 경쟁력을 유지하며, 특히 까다로운 포즈, 표정, 움직임 변화 상황에서 큰 성능 향상을 보인다는 것을 입증한다.

arXiv:2607.22830v1cs.CV

ID-V2V: 정체성 보존 비디오 재스타일화

ID-V2V: Identity-Preserving Video Restylization

시각적 스토리텔링에서 인간의 퍼포먼스는 창의적 의도와 서사적 의미의 핵심이다. 그러나 생성형 비디오 모델은 유연한 시각적 편집을 가능하게 하면서도 인간의 정체성과 퍼포먼스를 보존하는 것이 여전히 어렵다. 우리는 이 과제를 정체성 보존 비디오 재스타일화로 공식화한다. 이는 편집된 키프레임으로 지정된 장면, 조명, 스타일 변화를 소스 비디오 전체에 전파하면서, 표정, 시선, 입술 동기화를 포함한 얼굴 유사성과 퍼포먼스를 보존하는 작업이다. 핵심 장애물은 paired 학습 데이터의 부재인데, 실제 환경에서는 정체성을 보존한 재스타일화 비디오 쌍이 드물기 때문이다. 이를 해결하기 위해 우리는 소스 기반 정체성 보존과 편집 주도 비디오 합성의 분리를 제안한다. 핵심 통찰은 얼굴 외형과 표정은 불변으로 유지되어야 하며, 조명이 주요하게 허용되는 변화라는 점이다. 따라서 정체성 보존을 비디오 재조명 문제로, 시각적 편집 전파는 편집된 키프레임이 안내하는 제어된 비디오 합성으로 모델링한다. 이 공식화를 바탕으로 우리는 ID-V2V를 제안한다. 이는 상호 보완적인 제어 신호를 통합한 비디오-투-비디오 생성 프레임워크로, 재조명된 얼굴 영역과 얼굴 노멀 맵이 얼굴 유사성과 퍼포먼스를 엄격히 제약하고, 편집된 키프레임과 깊이 시퀀스가 유연하고 시간적으로 일관된 생성을 가능하게 한다. 이 설계는 단일 비디오로부터 학습 쌍을 구성할 수 있어 희소한 paired 데이터가 필요 없게 한다. 광범위한 실험 결과 ID-V2V는 얼굴 유사성과 세밀한 얼굴 퍼포먼스 보존에서 기존 방법을 크게 능가하며, 단일 및 다중 피사체 시나리오를 모두 지원하고 높은 시각적 품질을 제공하여, 실제 콘텐츠 제작을 위한 인간 중심 도구로서의 잠재력을 보여준다. 코드는 https://github.com/Eyeline-Labs/ID-V2V 에서 제공된다.

arXiv:2607.11281v1cs.CV

악마는 누출에 있다: 고충실도 헤어스타일 전환을 위한 분리된 이중 정제 프레임워크

The Devil Is in the Leakage: A Disentangled Dual-Purification Framework for High-Fidelity Hairstyle Transfer

헤어스타일 전환은 참조 이미지의 헤어스타일을 소스 피사체에 이식하면서 소스 아이덴티티를 보존하여 사실적인 초상화를 합성하는 것을 목표로 한다. 최근 기반 모델들은 강력한 생성 능력을 보여주지만, 정밀한 로컬 편집에 필요한 제로샷 분리에 어려움을 겪으며, 참조 헤어스타일이 원래의 아이덴티티 및 포즈와 얽히는 문제가 자주 발생한다. 기존의 확산 기반 파이프라인은 일반적으로 소스에서 "민머리" 이미지를 먼저 생성한 후 참조에서 헤어스타일 특징을 주입하는 방식으로 작업을 분해한다. 그러나 이 패러다임이 근본적인 누출 문제를 겪고 있음을 보인다. 헤어스타일에서의 아이덴티티 누출(Identity Leakage in Hairstyle)은 헤어스타일 특징이 참조 아이덴티티 또는 포즈 정보를 보유할 때 발생하며, 민머리에서의 결함 누출(Flaw Leakage in Bald)은 민머리 이미지의 잔류 아티팩트가 최종 합성에 전파될 때 발생한다. 두 문제를 모두 해결하기 위해, 두 가지 상보적인 학습 시간 정규화기를 도입하는 이중 정제 프레임워크(DPF, Dual-Purification Framework)를 제안한다. 적대적 헤어스타일 정제(AHP, Adversarial Hairstyle Purification)는 상호 정보 기반 적대적 목적 함수 하에서 아이덴티티 예측 가능성을 억제함으로써 헤어스타일 특징을 정제한다. 대조적 기하학적 정제(CGP, Contrastive Geometric Purification)는 대조적 목적 함수로 ControlNet 경로를 정규화하여 민머리 조건의 기하학적 아티팩트에 대한 모델의 의존성을 줄인다. 헤어스타일 표현과 기하학적 경로를 공동으로 정제함으로써, DPF는 고충실도의 아이덴티티 보존 헤어스타일 전환을 달성하고 다양한 벤치마크에서 최첨단 성능을 기록한다.

arXiv:2607.01383v1cs.CV

MIBE: 개인화 이미지 생성을 위한 다중 주체 상호작용 벤치마크 및 평가기

MIBE: Multi-subject Interaction Benchmark and Evaluator for Personalized Image Generation

다중 주체 개인화 이미지 생성에서 기존 평가 지표들이 주체 수가 늘어날수록 인간 선호도와의 정렬이 무작위 수준으로 떨어지는 문제를 해결하기 위해, 60K 쌍의 VLM 레이블 Silver Set과 4K 쌍의 이중 맹검 Human Evaluation Gold Set으로 구성된 통합 프레임워크 MIBE를 제안한다. 경량 평가기 MIE는 존재(Existence)·외관(Appearance)·상호작용(Interaction)의 진단 목표를 함께 학습하여 Gold Set에서 인간 선호도 대비 쌍별 정확도 0.922를 달성하며 CLIP·DINO 기반 지표를 전반적으로 능가한다.

arXiv:2606.22347v1cs.CV

Identity-Action Decoupling을 통한 비디오 초상화 맞춤화

Customizing Video Portraits via Identity-ActionDecoupling

정체성 보존 텍스트-투-비디오 생성(Identity-Preserving Text-to-Video Generation, IPT2V)은 참조 이미지와 텍스트 설명으로부터 시간적으로 일관된 영상을 합성하면서, 동시에 대상의 정체성을 보존하고 얼굴 역학에 대한 세밀한 제어를 가능하게 하는 것을 목표로 한다. 최근 ID-Animator, ConsisID와 같은 방법들은 추론 시점에만 정체성 특징을 주입하지만, 얼굴 임베딩에 포함된 ID와 무관한 정보를 무시하여, 프롬프트를 제대로 따르지 못하는 단조롭거나 부정확한 얼굴 움직임을 초래한다. 이 문제를 해결하기 위해 Identity-Action Decoupling(IaD) 프레임워크와 Identity Decoupling Loss, Text Alignment Loss라는 두 가지 손실 함수를 제안한다. 대상별 미세조정 없이도 IaD는 (1) 시간에 걸친 정체성 일관성을 유지하고 (2) 입력 텍스트와 밀접하게 일치하는 풍부하고 제어 가능한 표정 및 장면 변화를 보여주는 영상을 생성한다.

arXiv:2606.06903v1cs.CV

스켈레톤을 넘어서: Same2X 학습 전략으로 드라이빙 비디오에서 애니메이션을 직접 학습

Beyond Skeletons: Learning Animation Directly from Driving Videos with Same2X Training Strategy

인간 이미지 애니메이션(human image animation)은 정적 참조 이미지에서 드라이빙 비디오로부터 추출한 포즈 정보를 안내로 하여 비디오를 생성하는 것을 목표로 한다. 기존 접근법은 종종 포즈 추정기(pose estimator)에 의존하여 중간 표현을 추출하지만, 이러한 신호는 가려짐(occlusion)이나 복잡한 포즈에서 오류에 취약하다. 이러한 관찰에 기반하여, 우리는 포즈 추출을 우회하고 원시 드라이빙 비디오에서 직접 학습하는 프레임워크인 DirectAnimator를 제안한다. 우리는 모션, 표정, 정렬(alignment)을 의미론적으로 풍부하면서도 안정적인 형태로 포착하는 포즈, 얼굴, 위치 단서로 구성된 Driving Cue Triplet를 도입하고, 디노이징(denoising) 동안 신뢰할 수 있는 제어를 위해 CueFusion DiT 블록을 통해 이를 융합한다. 드라이빙과 참조의 신원(identity)이 다를 때 학습을 신뢰할 수 있게 하기 위해, 우리는 교차 ID(cross-ID) 특징을 동일 ID(same-ID) 데이터에서 학습된 특징과 정렬하여 최적화를 정규화하고 수렴을 가속하는 Same2X 학습 전략을 고안한다. 광범위한 실험은 DirectAnimator가 가려짐과 복잡한 관절 움직임(articulation)에도 견고하면서 최첨단(state-of-the-art) 시각적 품질과 신원 보존(identity preservation)을 달성하며, 더 적은 컴퓨팅 자원으로 이를 수행함을 보여준다. 프로젝트 페이지는 https://directanimator.github.io/ 에 있다.