Cross-View Exocentric to Egocentric Video Synthesis
원문 초록
Cross-view video synthesis task seeks to generate video sequences of one view from another dramatically different view. In this paper, we investigate the exocentric (third-person) view to egocentric (first-person) view video generation task. This is challenging because egocentric view sometimes is remarkably different from the exocentric view. Thus, transforming the appearances across the two different views is a non-trivial task. Particularly, we propose a novel Bi-directional Spatial Temporal Attention Fusion Generative Adversarial Network (STA-GAN) to learn both spatial and temporal information to generate egocentric video sequences from the exocentric view. The proposed STA-GAN consists of three parts: temporal branch, spatial branch, and attention fusion. First, the temporal and spatial branches generate a sequence of fake frames and their corresponding features. The fake frames are generated in both downstream and upstream directions for both temporal and spatial branches. Next, the generated four different fake frames and their corresponding features (spatial and temporal branches in two directions) are fed into a novel multi-generation attention fusion module to produce the final video sequence. Meanwhile, we also propose a novel temporal and spatial dual-discriminator for more robust network optimization. Extensive experiments on the Side2Ego and Top2Ego datasets show that the proposed STA-GAN significantly outperforms the existing methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
증류 불필요: 비인과적 노이즈 셰이핑을 통한 단일 패스 실시간 토킹 헤드
No Distillation Needed: Single-Pass Real-Time Talking Heads via Acausal Noise Shaping
오디오 기반 얼굴 애니메이션은 실시간 아바타, 텔레프레즌스, 그리고 임바디드 가상 에이전트의 기반이 된다. 또한 이는 온라인으로 동작해야 하며, 각 프레임은 현재 시점까지 관측된 오디오로부터 대화형(interactive) 속도로 생성되어야 한다. 최근의 발전은 디퓨전 모델(diffusion model)이 주도하고 있는데, 이는 샘플당 많은 네트워크 평가가 필요하여 스트리밍에는 적합하지 않다. 우리는 이 분야에서 그러한 비용이 불필요하다고 주장한다. 오디오에 조건화된 얼굴 움직임은 비교적 저차원 매니폴드(manifold)에 위치하며, 이는 단일 패스(single-pass) 생성적 적대 신경망(GAN)만으로도 충분한 영역이다. 장애물은 모델의 용량(capacity)이 아니라 확률적 구조(stochastic structure)에 있다. 우리는 독립동일분포(i.i.d.) 노이즈에 의해 구동되는 인과적(causal)이고 시불변(time-invariant)인 생성자가 각 스텝의 이노베이션(innovation)을 붕괴시키지 않고서는 특정 대역에서 출력 스펙트럼을 억제할 수 없음을 보인다. 우리는 노이즈 경로를 비인과적으로(acausally) 셰이핑하여 이러한 한계를 해소한 FaceGAN을 제안한다. 구동 노이즈가 합성(synthetic)된 것이기 때문에 그 미래 값을 지금 미리 샘플링할 수 있으며, 따라서 오디오-표현(audio-to-expression) 경로는 인과성을 유지하고 모델은 완전한 인과적 동작을 지원한다. FaceGAN은 프레임당 단일 순전파로 표정과 머리 자세를 생성하며, 생성 품질에서 최신 기법과 동등하거나 이를 상회한다. 피드포워드 구조이며 어텐션 윈도우가 제한되어 있어, 드리프트(drift) 없이 무한히 생성할 수 있다.
손실 유도 다중 전문가 GAN을 통한 수어 영상 합성
Sign Language Video Synthesis via Loss-Guided Multi-Expert GANs
본 예비 기술 보고서에서는 청각 장애인의 의사소통을 개선하기 위해 손실 유도 다중 전문가 생성적 적대 신경망(GAN)을 활용한 수어 영상 합성 프레임워크를 제시합니다. 전역(global), 손(hand), 머리(head)의 세 가지 특화된 판별자(discriminator)가 생성기(generator) 내의 대응하는 전문가 브랜치를 서로 다른 시각적 영역으로 안내하여, 명시적인 다양성 손실 없이도 암묵적인 특징(feature) 전문화를 가능하게 합니다. 초기 학습(training) 단계에서 혼란스러운 역학을 보이기 쉬운 이러한 다중 판별자 시스템을 안정화하기 위해, 각 판별자를 10% 가중치(weight)로 앙상블(ensemble) 평균에 맞춰 정규화하는 United Loss 합의 메커니즘을 도입합니다. 또한 각 브랜치는 학습 가능한 AdaptiveFeatureFusion이 포함된 이중 경로 합성곱-트랜스포머(convolutional-transformer) 설계를 채택하여 합성곱의 안정성과 윈도우 기반 셀프 어텐션(windowed self-attention)의 세부 표현력 간의 균형을 맞춥니다. 생성기는 판별자, 전체론적 생성, 브랜치 특화 생성의 세 가지 모드가 번갈아 나타나는 스케줄에 따라 학습됩니다. 단순하고 반복적인 샘플을 제거한 필터링된 평가 세트가 포함된 자체 구축 156GB 데이터셋(dataset)에서 0.2B 매개변수(parameter) 변형은 29.78 PSNR(0.9593 SSIM)을 달성하고, 0.66B 변형은 7.37M 스텝 후 30.52 PSNR(0.9631 SSIM)에 도달하며, 1.3B 변형은 30.72 PSNR(0.9650 SSIM)을 달성합니다. 0.66B에서 1.3B로 확장 시 매개변수가 거의 두 배로 증가했음에도 불구하고 성능 향상은 +0.20 PSNR에 불과하여 급격한 수확 체감(diminishing returns)을 보여줍니다. 추론(inference) VRAM 사용량은 각각 1.5GB, 약 5GB, 8GB로 소비자용 하드웨어 배포가 가능합니다. 단일 GPU에서 2~3개월에 달하는 학습 주기로 인해 전체 절제 연구(ablation study)는 아직 진행 중입니다. 본 시스템은 2025 홍콩 프론티어 기술 정상회의(Hong Kong Frontier Technology Summit)에서 시연되었습니다.
DMAD: 빠른 시각적 생성을 위한 적대적 증류 기반의 분포 매칭
DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation
분포 매칭 증류(DMD, Distribution Matching Distillation)는 개별적으로 추정된 타깃 및 학생 스코어 간의 차이로부터 소수 단계(few-step) 학생 모델을 학습시키므로, 추가적인 메모리와 계산 비용을 들여 학생의 변화하는 분포에 맞춰진 보조 확산 모델을 유지해야 합니다. 본 논문에서는 분포 매칭을 분류(classification) 문제로 재구성하고 필요한 로그 밀도 비(log-density ratios)를 직접 학습하는 적대적 증류 기반의 분포 매칭인 DMAD(Distribution Matching as Adversarial Distillation)를 소개합니다. 공유된 백본 상의 두 판별기 헤드는 실제 데이터 및 교사 샘플을 학생 샘플과 구별하며, 이들의 로짓(logit)에 적용되는 선형 손실은 보조 스코어 피팅 없이 학생 모델을 학습시킵니다. 판별기 로짓을 로그 밀도 비로 연결하는 고전적 항등식을 통해, 판별기 최적점에서 이러한 손실들이 DMD의 기반이 되는 분포 매칭 그래디언트(gradient)를 복원함을 증명합니다. 나아가 실제 데이터 헤드에서 측정한 실제 샘플과 교사 샘플 간의 경험적 로짓 갭을 바탕으로 노이즈 레벨 전반에 걸쳐 교사 지도를 적응시키는 갭 기반 재가중치(gap-based reweighting)를 제안합니다. DMAD는 ImageNet-64x64에서 1단계 생성으로 1.04의 Fréchet Inception Distance(FID)를 기록하고, COCO-10K에서 4단계 SDXL로 14.47, 4단계 Wan2.1-T2V-14B로 85.15의 VBench 총점을 달성하여 비교된 소수 단계 방법론과 다단계 교사 모델 중 최고의 성능을 보였습니다. MiniMax-H3-33B 기반의 오디오-비디오 공동 생성에서 본 연구의 4단계 학생 모델은 동점을 제외했을 때 DMD2 대비 79.1%, rCM 대비 84.6%의 전반적인 인간 선호도를 달성했습니다. 코드, 모델 및 데모는 https://yzmblog.github.io/projects/DMAD 에서 확인할 수 있습니다.
AI 생성 비디오 탐지: 비전-언어 이중 관점 서베이
Detecting AI-Generated Video: A Vision-Language Dual-View Survey
AI 생성 비디오(AIGC-V)의 사실적 표현이 급속도로 향상됨에 따라 기존의 아티팩트 중심 탐지 방식이 점차 한계를 드러내고 있으며, 저수준 검사에서 고수준 의미 검증으로의 패러다임 전환이 요구되고 있다. 본 논문은 AIGC-V 탐지에 관한 종합적인 서베이를 제시하며, 이 과제를 사실적 충실도 검증(Factual Fidelity Verification)으로 재정의한다. 이는 비디오에 묘사된 사건, 개체, 물리적 과정이 실제 사실과 일치하는지를 묻는 문제이다. 이 빠르게 진화하는 분야를 체계화하기 위해, 우리는 기존 방법들을 내재적 단서 분석, 시공간 일관성 모델링, 교차 모달 일관성 추론, 언어 기반 세계 수준 추론의 네 개 층(layer)으로 구성된 계층적 분류 체계인 비전-언어 이중 관점(Vision-Language Dual-View) 분류 체계를 제안한다. 이 이중 관점 프레임은 기존 딥페이크 탐지의 아티팩트 매칭에서 비전-언어 모델과 에이전트(agentic) 추론 파이프라인이 가능케 하는 증거 기반 의미 검증으로의 근본적인 전환을 부각시킨다. 221편의 연구에 대한 체계적 검토를 바탕으로, AIGC-V 생성 패러다임을 종합하고, 탐지 방법의 전반적 현황을 조망하며, 제안된 관점에 따라 평가 지표 및 벤치마크를 검토한다. 마지막으로 현재의 과제를 논의하고 강건하고 설명 가능하며 신뢰할 수 있는 탐지를 위한 유망한 방향을 제시한다.
Reward Lightning: 동원성 선호도 증류를 통한 빠른 비디오 생성
Reward Lightning: Fast Video Generation via Homologous Preference Distillation
비디오 확산 모델에서 선호도 정렬과 증류 가속을 동시에 달성하는 것은 여전히 미해결 과제로 남아 있다. 기존 방법들은 두 목표를 불일치하는 표현 공간에서 최적화하여, 하나의 목표를 개선하면 다른 목표가 저하되는 경우가 많다. 이를 극복하기 위해, 우리는 단일 공유 표현 내에서 비디오 확산 모델을 정렬하고 가속화하는 통합 프레임워크인 Reward Lightning을 제안한다. 핵심 원리는 동원성(homology)으로, 두 목표 모두 동일한 잠재 특징에서 평가되어 분리된 표현에서 최적화할 때 발생하는 그래디언트 충돌을 완화한다. 기반 구성 요소로서, 먼저 픽셀 공간으로 디코딩하지 않고 잠재 공간에서 직접 비디오를 채점하는 잠재 보상 모델(LRM, Latent Reward Model)을 도입한다. LRM을 기반으로, 동원성 선호도 증류(HPD, Homologous Preference Distillation)는 이 공유 백본을 재활용하여 적대적 증류와 선호도 정렬을 공동으로 수행하며, 충실하고 잘 정렬된 소수 단계 생성기를 산출한다. 광범위한 실험을 통해 LRM이 픽셀 수준 및 잠재 수준 보상 모델 기준선을 선호도 정확도에서 각각 $11.0\%$ 및 $14.7\%$ 능가하며, Reward Lightning이 단 $1$~$4$ 단계만으로 고품질 비디오를 생성하여 평균 VBench 점수를 $2.1\%$ 향상시키면서 텍스트 정렬, 모션 품질, 시각적 품질에서 선두를 달리는 것을 보여준다. 프로젝트 페이지: https://reward-lightning.github.io.
Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성
Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment
주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.