arXiv:1904.11521

Face Video Generation from a Single Image and Landmarks

Kritaphat Songsri-in, Stefanos Zafeiriou

제출 2019-04-25

원문 초록

In this paper we are concerned with the challenging problem of producing a full image sequence of a deformable face given only an image and generic facial motions encoded by a set of sparse landmarks. To this end we build upon recent breakthroughs in image-to-image translation such as pix2pix, CycleGAN and StarGAN which learn Deep Convolutional Neural Networks (DCNNs) that learn to map aligned pairs or images between different domains (i.e., having different labels) and propose a new architecture which is not driven any more by labels but by spatial maps, facial landmarks. In particular, we propose the MotionGAN which transforms an input face image into a new one according to a heatmap of target landmarks. We show that it is possible to create very realistic face videos using a single image and a set of target landmarks. Furthermore, our method can be used to edit a facial image with arbitrary motions according to landmarks (e.g., expression, speech, etc.). This provides much more flexibility to face editing, expression transfer, facial video creation, etc. than models based on discrete expressions, audios or action units.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14836v2cs.CV공통 태그 Translation, Video Generation

3D 수어 생성을 위한 확산 기반 운동학 및 동역학 모델

A Diffusion-Based Kinematics and Dynamics Model for 3D Sign Language Production

수어 생성(SLP)은 언어적 입력으로부터 연속적인 수어 동작을 생성하며 수어 아바타와 같은 접근성 기술을 구동한다. 확산 모델을 포함한 현재의 생성기는 관절 좌표를 구조 없는 벡터로 회귀하므로, 생성된 신체가 해부학이나 운동의 역학을 따르도록 보장하는 요소가 없다. 물리학은 기하학적 손실 항을 통해서만 SLP에 도입되었으며 그 이점이 이해도에 미치는 영향은 검증되지 않았고, 수어를 하는 신체의 동역학은 모델링되지 않았다. 본 논문은 두 수준에서 물리 정보를 활용하는 확산 모델 PIDiffSign을 제안한다. 운동학 측면에서는 순기구학 헤드가 뼈의 방향과 길이를 출력하고 이를 조합하여 해부학적으로 정확한 골격을 구성한다. 동역학 측면에서는 인체측정학적 매개변수를 갖는 상체 강체 모델이 두 가지 학습 사전분포를 뒷받침한다. 운동 제어의 두 법칙을 포함하는 물리적 타당성 평가 모음이 생성된 수어를 평가한다. 통제된 프로토콜에서 이 헤드는 PHOENIX14T와 CSL-Daily에서 역번역 단어 오류율을 약 5포인트 낮추는 반면 기하학적 페널티는 측정 가능한 효과가 없으며, 대조 실험은 이득이 뼈 길이 보존이 아니라 운동학적 사슬 표현에서 비롯됨을 추적한다. 동역학 사전분포는 PHOENIX14T에서 물리적이지 않은 대응 대조군보다 약 1포인트 추가 이득을 주지만 CSL-Daily에서는 그렇지 않다. 생성된 수어는 운동 제어 법칙을 실제 수어만큼 근접하게 따르지만 운동 에너지는 현저히 적다. 정확한 골격은 리깅된 아바타를 직접 구동할 수 있으며, 이 평가 모음은 향후 SLP 시스템을 위한 물리적 벤치마크를 제공한다.

arXiv:2610.11037v1cs.CV공통 태그 Image-to-Image Translation, Video Generation

이미지 편집기를 비디오 편집기로 변환하기

Transforming Image Editors into Video Editors

최근 이미지 편집 시스템은 뛰어난 의미론적 이해도, 시각적 충실도, 지시어 추종(instruction-following) 능력을 달성했으나, 비디오 편집은 여전히 훨씬 더 어렵고 비용이 많이 듭니다. 본 논문에서는 엔드투엔드(end-to-end) 비디오 편집에 대한 간단한 대안을 제시합니다. 즉, 단일 비디오 편집기를 학습(training)시키는 대신 강력한 이미지 편집기를 앵커 기반 생성을 통해 비디오 편집기로 변환합니다. 우리의 핵심 통찰은 비디오 편집이 희소한 키프레임 세트를 편집하는 것과 이러한 편집 내용을 시간에 걸쳐 전파하는 두 가지 하위 문제로 분해될 수 있다는 점입니다. 이러한 관찰을 바탕으로, 우리는 2단계 프레임워크인 앵커 기반 비디오 편집(Anchor-based Video Editing, AVE)을 제안합니다. 이 프레임워크에서는 먼저 강력한 이미지 편집기가 선택된 키프레임에 대해 합성 편집을 수행하고, 모션 유도 이미지-투-비디오 확산 모델(diffusion model)이 편집된 키프레임을 고정 앵커로 처리하여 최종 비디오를 생성합니다. 이러한 설계는 최신 이미지 편집기의 장점을 직접 계승하는 동시에 비용이 많이 드는 엔드투엔드 비디오 편집 학습을 방지합니다. IVEBench 및 VIE-Bench에 대한 실험 결과는 AVE가 지시어 추종, 시간적 일관성, 콘텐츠 충실도 면에서 우수한 성능을 달성함을 보여줍니다. 추가적인 절제 연구(ablation study)에 따르면 최종 비디오 편집 품질은 이미지 편집기의 품질과 강한 상관관계가 있음이 밝혀졌으며, 이는 향후 비디오 편집의 발전이 더 강력한 이미지 편집 기반과 비디오로의 경량 전이에서 비롯될 수 있음을 시사합니다. 코드는 https://github.com/wangf3014/AVE 에서 이용 가능합니다.

arXiv:2607.08016v3cs.CV공통 태그 Image-to-Image Translation, Video Generation

LightCrafter: 제어 가능하고 일관된 리라이팅을 위한 PBR 조건부 비디오 확산 정제

LightCrafter: PBR-Conditioned Video Diffusion Refinement for Controllable and Consistent Relighting

비디오 리라이팅(video relighting)은 장기적인 시간적 일관성과 재질, 기하학적 구조, 조명과 같은 장면의 고유 속성에 대한 정확한 추정에 기반한 물리적으로 타당한 빛 전달 이해 사이의 균형을 유지해야 합니다. 기존 방법들은 두 가지 패러다임을 따릅니다: (1) 역 렌더링(inverse rendering)을 통해 비디오의 측광적 속성을 재구성하고 물리 기반 렌더링(PBR) 또는 신경망 렌더러를 사용한 순방향 렌더링을 통해 타깃 조명으로 리라이팅하는 방식으로, 이는 노이즈가 많은 재구성 결과로 어려움을 겪으며 전역 조명(global illumination)과 같이 모델링하기 까진 효과를 처리하는 데 한계가 있습니다. (2) 이 작업을 리라이팅 타깃(타깃 환경 맵 또는 텍스트)을 조건으로 하는 생성형 비디오 대 비디오 변환(video-to-video translation)으로 구성하는 방식으로, 확산 모델이 긴 형식의 비디오를 변환하는 데 어려움을 겪기 때문에 리라이팅 제어력과 시간적 안정성이 제한되며, 입력/리라이팅 학습 쌍의 가용성에 의해 제약을 받습니다. 우리는 비디오 리라이팅을 프록시 비디오의 비디오 변환으로 재구성하는 하이브리드 파이프라인인 LightCrafter를 제안합니다. 즉, 입력 비디오를 타깃으로 직접 변환하는 대신 타깃 조명 하에서의 입력 PBR 렌더링을 최종 타깃으로 변환합니다. 이는 조명 타깃을 PBR 프록시에 내재화하여 확산 모델에 환경 맵과 같은 조명 개념을 학습시킬 필요성을 없애고, 긴 형식의 시간적 일관성을 자연스럽게 제공하면서 더욱 정교한 조명 제어를 가능하게 합니다. 우리는 PBR 렌더링 자체만으로도 이미 일부 기존 연구보다 우수한 성능을 보이지만 전역 조명과 같은 효과에는 한계가 있음을 보여줍니다. 이러한 효과를 포착하기 위해 합성 비디오 쌍과 실제 비쌍(unpaired) 비디오에서 CogVideoX를 사후 학습(post-training)하여 비디오 생성 모델의 측광학적 사전 지식을 활용합니다. 우리는 기존의 실제 리라이팅 벤치마크에서 이전의 최고 수준 성능을 능가하며, 추가 분석을 위한 합성 벤치마크를 제공합니다. 우리는 데이터셋, 벤치마크, 평가 지표 및 코드를 공개할 예정입니다.

arXiv:2609.28083v1cs.CV공통 태그 Image-to-Image Translation, Video Generation

ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델

ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming

듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.

arXiv:2609.24788v1cs.CV공통 태그 Image-to-Image Translation, Video Generation

쉬운 적응을 통한 스트리밍 비디오 편집

Streaming Video Editing with Easy Adaptation

본 논문에서는 사전학습된 양방향 비디오 확산 모델(bidirectional video diffusion model)에 대한 학습만으로 자기회귀(auto-regressive) 방식의 고품질 스트리밍 비디오 편집을 지원하는 프레임워크인 SVEET를 제안한다. 이 문제를 해결하기 위해, 먼저 기존의 비디오-투-비디오 확산 접근법들을 체계적으로 재검토하고, 이러한 스트리밍 적응을 위한 두 가지 핵심 원칙, 즉 백본 특징 분리(backbone feature disentanglement)와 조건부 프레임 독립성(conditional frame independence)을 규명한다. 이러한 통찰을 바탕으로, 제어 가능한 비디오 생성을 위한 새로운 패러다임을 개발한다. 그 핵심에는 시간적으로 독립적인 셀프 어텐션으로 소스 비디오 입력을 인코딩하는 보조 모델 분기(auxiliary model branch)가 있으며, 중간 특징들은 스트리밍 호환 제어를 위해 해당 백본 블록에 주입된다. 또한, 양방향 모델과 스트리밍 모델의 특징 공간 간 불일치를 해소하기 위해, 비디오 제어 가능성과 모델 인과성(causality)의 최적화 방향 간 직교성을 명시적으로 강제하는 분리 학습(decoupled training) 기법을 제안한다. 이러한 분리는 추론 시 두 목표 간의 호환성을 보장하고, 이질적인 백본 아키텍처 간의 원활한 제로샷 지식 전이를 촉진한다. 광범위한 실험을 통해 SVEET가 실시간 성능을 유지하면서도 우수한 편집 품질을 달성함을 입증하였으며, 어떠한 보조 가속 기법 없이도 단일 H100 GPU 17에서 15 FPS를 달성하였다. 코드는 https://github.com/YujiaHu1109/SVEET 에서 확인할 수 있다.

arXiv:2607.21529v2cs.CV공통 태그 Image-to-Image Translation, Video Generation

ElasticTTT: 사전 보존 테스트 시간 튜닝을 위한 비디오 편집

ElasticTTT: Prior-Preserving Test-Time Tuning for Video Editing

사전학습된 diffusion 모델에 대한 테스트 시간 튜닝(TTT)은 비디오 편집을 위한 강력한 패러다임으로 부상했다. 그러나 생성 모델의 분포 매핑 특성과 표준 TTT의 단일 점 최적화 사이에는 근본적인 불일치가 존재한다. 본 논문에서는 이러한 불일치가 Prior Collapse(사전 붕괴)를 유발함을 보인다. 이는 모델이 텍스트 조건과 공간 잠재 변수를 버리고, 생성 결과를 소스 비디오로 붕괴시키거나 서로 다른 영역의 특징을 얽어버리는 퇴화 상태이다. 이를 해결하기 위해, 사전 생성 분포를 보존하고 생성 탄성(generative elasticity)을 회복하는 새로운 프레임워크인 ElasticTTT를 제안한다. 구체적으로, 급격한 암기 최소점을 방지하기 위한 Target Distribution Regularization(목표 분포 정규화), 소스 편향에서 추론을 유도하기 위한 Contrastive CFG, 그리고 편집되지 않은 영역을 보존하기 위한 Asynchronous Noise Schedule(비동기 노이즈 스케줄)을 제안한다. 이론적 분석이 뒷받침하는 광범위한 평가를 통해, ElasticTTT가 베이스 모델의 생성 사전을 성공적으로 보존하며 원샷(one-shot) 비디오 편집에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.