arXiv:2105.14678

Image-to-Video Generation via 3D Facial Dynamics

Xiaoguang Tu, Yingtian Zou, Jian Zhao, Wenjie Ai, Jian Dong, Yuan YAO, Zhikang Wang, Guodong Guo, Zhifeng Li, Wei Liu, Jiashi Feng

제출 2021-05-31

원문 초록

We present a versatile model, FaceAnime, for various video generation tasks from still images. Video generation from a single face image is an interesting problem and usually tackled by utilizing Generative Adversarial Networks (GANs) to integrate information from the input face image and a sequence of sparse facial landmarks. However, the generated face images usually suffer from quality loss, image distortion, identity change, and expression mismatching due to the weak representation capacity of the facial landmarks. In this paper, we propose to "imagine" a face video from a single face image according to the reconstructed 3D face dynamics, aiming to generate a realistic and identity-preserving face video, with precisely predicted pose and facial expression. The 3D dynamics reveal changes of the facial expression and motion, and can serve as a strong prior knowledge for guiding highly realistic face video generation. In particular, we explore face video prediction and exploit a well-designed 3D dynamic prediction network to predict a 3D dynamic sequence for a single face image. The 3D dynamics are then further rendered by the sparse texture mapping algorithm to recover structural details and sparse textures for generating face frames. Our model is versatile for various AR/VR and entertainment applications, such as face video retargeting and face video prediction. Superior experimental results have well demonstrated its effectiveness in generating high-fidelity, identity-preserving, and visually pleasant face video clips from a single source face image.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01019v1cs.CV공통 태그 Video Prediction, Video Generation

FutureWorlds: 대안적 미래로부터 로봇 월드 모델 학습하기

FutureWorlds: Learning Robotic World Models from Alternative Futures

로봇 월드 모델은 행동 조건부 미래 장면을 예측하여 행동 결과를 이해하기 위한 기반을 제공합니다. 그러나 다양한 대안적 예측을 유용한 학습(training) 신호로 전환하는 것은 여전히 어려운 과제입니다. 유사한 후보들은 유의미한 품질 비교를 제한하며, 갈라지는 궤적은 개별 히스토리를 지속해서 유지해야 합니다. 본 논문에서는 후보 생성, 히스토리 유지, 상대적 품질 기반 학습을 통합하는 프레임워크인 FutureWorlds를 소개합니다. 다중 모달 이산 자기회귀 모델(multimodal discrete autoregressive model)을 기반으로 구축된 FutureWorlds는 강화학습(reinforcement learning) 중에 다양성 빔 탐색(diverse beam search)을 사용하여 신뢰도와 다양성의 균형을 맞춘 미래 후보들을 생성합니다. 후보별 유계 메모리(bounded memory)는 장면 상태를 보존하고 생성과 정책 점수 평가가 일치하는 히스토리를 사용하도록 보장합니다. 또한 비디오 궤적 보상을 그룹 상대적 이점(group-relative advantage)으로 변환하여 월드 모델을 최적화하는 MemSPO(Memory-Conditioned Search-Guided Policy Optimization)를 제안합니다. RT-1, BridgeV2, RoboCasa에서 FutureWorlds는 각 데이터셋(dataset)의 가장 강력한 기준선(baseline) 대비 32프레임 예측에 대한 LPIPS를 각각 14.78%, 20.84%, 9.12% 감소시킵니다. 고정된 평가 구성에서 단 200회의 MemSPO 업데이트만으로 생성 품질을 더욱 향상시키고 학습 범위를 넘어선 지속적인 예측을 지원합니다. 메모리 소거 연구(ablation), 디코딩 민감도 분석 및 옵티컬 플로우(optical-flow) 평가는 이러한 성능 향상이 시각적 품질을 넘어 더욱 정확한 모션 예측과 일관된 객체 상태로 확장됨을 보여줍니다. 프로젝트 페이지 및 코드: https://github.com/Alexander-wu/FutureWorlds.

arXiv:2606.27325v1cs.CV공통 태그 Video Prediction, Video Generation

모든 행동이 동등하지 않다: 손기술 월드 모델의 조건화 재고

Not All Actions Are Equal: Rethinking Conditioning for Dexterous World Model

최근 행동 조건 월드 모델의 발전은 다양한 행동 시퀀스 하에서 복잡한 상호작용을 모델링하고 미래 상태를 예측하는 데 유망한 진전을 보여주고 있다. 이러한 모델들은 종종 더 강한 시각 표현과 모델 용량에 의해 추진되지만, 행동 조건화 자체는 여전히 충분히 탐구되지 않았다. 대부분의 기존 접근법은 전체 행동 시퀀스를 단일 표현으로 압축하는데, 이는 저자유도(low-DoF) 제어에는 잘 작동하지만 고자유도(high-DoF) 시나리오에서는 덜 신뢰할 수 있게 된다. 우리는 고자유도 손기술 행동이 본질적으로 이질적이며 여러 차수의 크기에 걸쳐 있고, 대규모 운동이 미세하지만 중요한 신호와 공존한다는 것을 관찰한다. 균일하게 집계하면 최적화가 행동 구성 요소 간 불균형을 나타내며, 이는 세밀한 효과의 모델링을 방해하고 행동 충실도에 영향을 미친다. 따라서 우리는 행동 조건화를 전역 압축이 아닌 구조화된 과정으로 취급하는 DexAC-WM을 제안한다. DexAC는 행동 토큰화를 통해 차원 수준의 의미를 보존하고, 국소 정제와 전역 변조를 통해 행동 신호를 시각 역학과 정렬한다. 기존 월드 모델의 제한된 고수준 의미적 그라운딩을 해결하기 위해, 풍부한 객체-장면 사전 정보를 제공하는 의미 분기를 추가로 도입하며, 이는 월드 모델이 동적 시각 세부 사항을 포착하면서 고자유도 행동 조건 비디오 예측을 지원할 수 있게 한다. EgoDex와 EgoVerse에서의 실험은 의미 분기와 DexAC를 결합하면 FID, FVD, PCK가 유의미하게 개선됨을 보여주며, 시각-시간적 현실감과 행동 추종 일관성의 향상을 입증한다. 우리는 또한 DexAC가 다른 백본에도 확장됨을 검증하여, 구조화된 행동 조건화 설계의 확장성을 보여준다. 이러한 결과는 월드 모델을 고자유도 제어로 확장하려면 구조화된 행동 모델링과 의미적 그라운딩이 모두 필요함을 시사한다.

arXiv:2607.04311v3cs.CV공통 태그 Video Generation

Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

arXiv:2607.00047v3cs.MM공통 태그 Video Generation

Vertigo Vertigo: 예측 AI 분신을 통한 영화적 이상의 재구성

Vertigo Vertigo: Reconstructing a Cinematic Ideal through its Predictive AI Double

Vertigo Vertigo는 히치콕의 「현기증」(Vertigo, 1958)을 장면 단위로 AI가 재구성한 작품으로, 원본 영화 프레임의 2.78%만으로 생성되었다. 이처럼 희소한 키프레임 앵커를 사용하여 대규모 비디오 확산 모델로 첫 프레임과 마지막 프레임 사이를 보간함으로써 그 사이의 장면들을 예측한다. 「현기증」은 그 자체가 인위적 이상(理想)에 대한 집착적 재구성을 다룬 영화이며, Vertigo Vertigo는 이러한 논리를 영화의 질료로 확장하여, 정전(正典)이 된 텍스트를 생성 시스템 내부에 부호화된 고전 영화의 규범적 관습을 탐색하는 프로브로 취급한다. 미디어 이론가들(Lev Manovich, Shane Denson, Kevin L. Ferguson)의 비평적 피드백과 계산적 분석을 통해 평가한 결과, 이 결과물은 놀라운 구조적 충실도를 보인다. 프레임의 73.1%가 「현기증」의 그럴듯한 재현으로 인식되며, 치명적으로 실패한 프레임은 3.6%에 불과하다. 이러한 충실도는 영화적 규범이 모델의 잠재 사전분포 안에 깊이 압축되어 있음을 시사한다. 미학적으로 이 재구성물은 원본 영화와 그 예측된 그림자 사이의 불안정한 오버레이로 구현되며, 관객의 인식 속에서 진정성에 대한 지속적인 의심, 곧 21세기의 현기증을 불러일으킨다. 이 작업은 생성 미디어가 영화로부터의 패러다임 전환이 아니라, 고전 할리우드에서 오늘날 동시대 지각을 재편하고 있는 예측 미디어 환경에 이르기까지 이어지는 욕망과 거짓 진정성이라는 영화의 논리가 가속된 것이라고 주장한다.

arXiv:2609.27901v2cs.CV공통 태그 Video Generation

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

토론

이 논문과 연결된 포럼 글이 아직 없습니다.