arXiv:2610.11070v1 cs.CV

증류 불필요: 비인과적 노이즈 셰이핑을 통한 단일 패스 실시간 토킹 헤드

No Distillation Needed: Single-Pass Real-Time Talking Heads via Acausal Noise Shaping

Yu Han, Dejan Markovic, Alexander Richard, Wojciech Zielonka, Akshay Venkatesh, Cheng-hsin Wuu, Michael Zollhoefer

제출 2026-10-08

저자 비고

arXiv Comments

Project website: https://wojciechzielonka.com/facegan/

한국어 초록

오디오 기반 얼굴 애니메이션은 실시간 아바타, 텔레프레즌스, 그리고 임바디드 가상 에이전트의 기반이 된다. 또한 이는 온라인으로 동작해야 하며, 각 프레임은 현재 시점까지 관측된 오디오로부터 대화형(interactive) 속도로 생성되어야 한다. 최근의 발전은 디퓨전 모델(diffusion model)이 주도하고 있는데, 이는 샘플당 많은 네트워크 평가가 필요하여 스트리밍에는 적합하지 않다. 우리는 이 분야에서 그러한 비용이 불필요하다고 주장한다. 오디오에 조건화된 얼굴 움직임은 비교적 저차원 매니폴드(manifold)에 위치하며, 이는 단일 패스(single-pass) 생성적 적대 신경망(GAN)만으로도 충분한 영역이다. 장애물은 모델의 용량(capacity)이 아니라 확률적 구조(stochastic structure)에 있다. 우리는 독립동일분포(i.i.d.) 노이즈에 의해 구동되는 인과적(causal)이고 시불변(time-invariant)인 생성자가 각 스텝의 이노베이션(innovation)을 붕괴시키지 않고서는 특정 대역에서 출력 스펙트럼을 억제할 수 없음을 보인다. 우리는 노이즈 경로를 비인과적으로(acausally) 셰이핑하여 이러한 한계를 해소한 FaceGAN을 제안한다. 구동 노이즈가 합성(synthetic)된 것이기 때문에 그 미래 값을 지금 미리 샘플링할 수 있으며, 따라서 오디오-표현(audio-to-expression) 경로는 인과성을 유지하고 모델은 완전한 인과적 동작을 지원한다. FaceGAN은 프레임당 단일 순전파로 표정과 머리 자세를 생성하며, 생성 품질에서 최신 기법과 동등하거나 이를 상회한다. 피드포워드 구조이며 어텐션 윈도우가 제한되어 있어, 드리프트(drift) 없이 무한히 생성할 수 있다.

원문 초록

Audio-driven facial animation underpins real-time avatars, telepresence, and embodied virtual agents. And it must run online: each frame emitted from audio observed up to the current time, at interactive rates. Recent progress is dominated by diffusion models, which need many network evaluations per sample and are therefore a poor fit for streaming. We argue the cost is unnecessary in this domain. Audio-conditioned facial motion occupies a comparatively low-dimensional manifold, a regime where a single-pass GAN suffices. The obstacle is not capacity but stochastic structure. We show that a causal, time-invariant generator driven by i.i.d. noise cannot suppress its output spectrum over a band without collapsing its per-step innovation. We proposed FaceGAN, which dissolved the limitation by shaping the noise pathway acausally. Because the driving noise is synthetic, its future can be sampled now, so the audio-to-expression path stays causal, and the model supports fully causal operation. FaceGAN emits expression and head pose in a single forward pass per frame and matches or outperforms state-of-art approaches in generation quality. Being feed-forward with bounded attention windows, it generates indefinitely without drift.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11070v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.13368v3cs.CV공통 태그 Generative Adversarial Network, Video Generation

손실 유도 다중 전문가 GAN을 통한 수어 영상 합성

Sign Language Video Synthesis via Loss-Guided Multi-Expert GANs

본 예비 기술 보고서에서는 청각 장애인의 의사소통을 개선하기 위해 손실 유도 다중 전문가 생성적 적대 신경망(GAN)을 활용한 수어 영상 합성 프레임워크를 제시합니다. 전역(global), 손(hand), 머리(head)의 세 가지 특화된 판별자(discriminator)가 생성기(generator) 내의 대응하는 전문가 브랜치를 서로 다른 시각적 영역으로 안내하여, 명시적인 다양성 손실 없이도 암묵적인 특징(feature) 전문화를 가능하게 합니다. 초기 학습(training) 단계에서 혼란스러운 역학을 보이기 쉬운 이러한 다중 판별자 시스템을 안정화하기 위해, 각 판별자를 10% 가중치(weight)로 앙상블(ensemble) 평균에 맞춰 정규화하는 United Loss 합의 메커니즘을 도입합니다. 또한 각 브랜치는 학습 가능한 AdaptiveFeatureFusion이 포함된 이중 경로 합성곱-트랜스포머(convolutional-transformer) 설계를 채택하여 합성곱의 안정성과 윈도우 기반 셀프 어텐션(windowed self-attention)의 세부 표현력 간의 균형을 맞춥니다. 생성기는 판별자, 전체론적 생성, 브랜치 특화 생성의 세 가지 모드가 번갈아 나타나는 스케줄에 따라 학습됩니다. 단순하고 반복적인 샘플을 제거한 필터링된 평가 세트가 포함된 자체 구축 156GB 데이터셋(dataset)에서 0.2B 매개변수(parameter) 변형은 29.78 PSNR(0.9593 SSIM)을 달성하고, 0.66B 변형은 7.37M 스텝 후 30.52 PSNR(0.9631 SSIM)에 도달하며, 1.3B 변형은 30.72 PSNR(0.9650 SSIM)을 달성합니다. 0.66B에서 1.3B로 확장 시 매개변수가 거의 두 배로 증가했음에도 불구하고 성능 향상은 +0.20 PSNR에 불과하여 급격한 수확 체감(diminishing returns)을 보여줍니다. 추론(inference) VRAM 사용량은 각각 1.5GB, 약 5GB, 8GB로 소비자용 하드웨어 배포가 가능합니다. 단일 GPU에서 2~3개월에 달하는 학습 주기로 인해 전체 절제 연구(ablation study)는 아직 진행 중입니다. 본 시스템은 2025 홍콩 프론티어 기술 정상회의(Hong Kong Frontier Technology Summit)에서 시연되었습니다.

arXiv:2610.02188v1cs.CV공통 태그 Generative Adversarial Network, Video Generation

DMAD: 빠른 시각적 생성을 위한 적대적 증류 기반의 분포 매칭

DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation

분포 매칭 증류(DMD, Distribution Matching Distillation)는 개별적으로 추정된 타깃 및 학생 스코어 간의 차이로부터 소수 단계(few-step) 학생 모델을 학습시키므로, 추가적인 메모리와 계산 비용을 들여 학생의 변화하는 분포에 맞춰진 보조 확산 모델을 유지해야 합니다. 본 논문에서는 분포 매칭을 분류(classification) 문제로 재구성하고 필요한 로그 밀도 비(log-density ratios)를 직접 학습하는 적대적 증류 기반의 분포 매칭인 DMAD(Distribution Matching as Adversarial Distillation)를 소개합니다. 공유된 백본 상의 두 판별기 헤드는 실제 데이터 및 교사 샘플을 학생 샘플과 구별하며, 이들의 로짓(logit)에 적용되는 선형 손실은 보조 스코어 피팅 없이 학생 모델을 학습시킵니다. 판별기 로짓을 로그 밀도 비로 연결하는 고전적 항등식을 통해, 판별기 최적점에서 이러한 손실들이 DMD의 기반이 되는 분포 매칭 그래디언트(gradient)를 복원함을 증명합니다. 나아가 실제 데이터 헤드에서 측정한 실제 샘플과 교사 샘플 간의 경험적 로짓 갭을 바탕으로 노이즈 레벨 전반에 걸쳐 교사 지도를 적응시키는 갭 기반 재가중치(gap-based reweighting)를 제안합니다. DMAD는 ImageNet-64x64에서 1단계 생성으로 1.04의 Fréchet Inception Distance(FID)를 기록하고, COCO-10K에서 4단계 SDXL로 14.47, 4단계 Wan2.1-T2V-14B로 85.15의 VBench 총점을 달성하여 비교된 소수 단계 방법론과 다단계 교사 모델 중 최고의 성능을 보였습니다. MiniMax-H3-33B 기반의 오디오-비디오 공동 생성에서 본 연구의 4단계 학생 모델은 동점을 제외했을 때 DMD2 대비 79.1%, rCM 대비 84.6%의 전반적인 인간 선호도를 달성했습니다. 코드, 모델 및 데모는 https://yzmblog.github.io/projects/DMAD 에서 확인할 수 있습니다.

arXiv:2609.19840v2cs.CV공통 태그 Video Generation, facial animation

KoUniTalk: 조음 중심의 경량 한국어-영어 3D 토킹 페이스 벤치마크

KoUniTalk: A Lightweight Articulation-Centered Korean-English 3D Talking Face Benchmark

고품질 3D 토킹 페이스(talking face) 데이터셋은 여전히 대부분 영어 중심으로 구성되어 있으며, 한국어 3D 얼굴 모션 데이터는 메시 토폴로지(mesh topology), 공간 스케일, 좌표계, 시간 샘플링의 차이로 인해 표준 영어 벤치마크와 결합하기 어렵다. 본 논문에서는 변형 전이(deformation transfer)를 활용하여 VOCASET 및 공개된 한국어 음성 기반 3D 토킹 페이스 데이터를 공유 메시 토폴로지로 리타기팅(retargeting)한 조음(articulation) 중심의 경량 한국어-영어 3D 토킹 페이스 벤치마크인 KoUniTalk를 제시한다. 새로운 변형 전이 알고리즘이나 전두부(full-head) 신원 보존형 아바타 데이터셋을 제안하기보다는, KoUniTalk는 영어와 한국어 전반에서 통제된 음성 구동 얼굴 조음 학습(training) 및 평가(evaluation)를 위한 신원 중립적 표준(canonical) 출력 공간을 제공한다. 통합 템플릿은 1,176개의 정점(vertex)을 포함하며 입과 인접한 하안부 및 중안부 영역에 집중하여 출력 차원을 15,069차원 및 72,147차원에서 3,528차원으로 축소하며, 이는 VOCASET/FLAME 및 원본 한국어 메시에 비해 각각 4.27배 및 20.45배 감소한 것에 해당한다. 리타기팅이 음성 관련 모션을 보존하는지 검증하기 위해, 입 벌림(mouth opening), 입 너비, 개구율(aperture ratio), 입 벌림 동역학(mouth-opening dynamics)을 포함한 의미론적 입 랜드마크 궤적을 평가한다. 한국어 데이터셋의 공식 테스트 세트가 공개되지 않았기 때문에, 피험자가 겹치지 않는(subject-disjoint) 한국어 벤치마크 분할을 추가로 정의한다. 처리 및 매칭된 벤치마크는 22명의 화자, 4,978개의 시퀀스, 642,781개의 프레임을 포함하여 단일 소형 조음 템플릿 공간에서 음성 구동 3D 얼굴 애니메이션 모델의 한국어-영어 교차 데이터셋 평가를 가능하게 한다. 소스 보고 인벤토리 수는 처리된 수치와 별도로 나열된다.

arXiv:2607.23840v1cs.CV공통 태그 Video Generation, facial animation

STEER: 조향 가능한 대화형 헤드 아바타

STEER: Steerable Dyadic Head Avatars

얼굴 움직임과 표정은 대면 의사소통의 핵심으로, 발화와 함께 발언권 교환, 주의, 동의, 참여를 전달한다. 음성 기반 얼굴 애니메이션은 입술 동기화와 오디오 조건부 모션 생성에서 큰 진전을 이루었지만, 대부분의 방법은 대화 행동을 오디오의 창발적(emergent) 부산물로 취급하거나, 거친 시퀀스 수준의 정서(affect) 제어만 제공한다. 그 결과, 시선 접촉과 회피, 리듬감 있는 머리 움직임, 감정과 같은 핵심 비언어적 채널은 명시적으로 제어하기 어렵다. 우리는 반응형 대화 헤드 아바타를 위한 제어 가능한 3D 대화형(dyadic) 모션 사전(prior)인 STEER를 제시한다. STEER는 대화 행동을 시선, 머리 리듬, 감정에 대한 명시적 제어로 분해하여, 사용자가 아바타가 대화 상대를 어떻게 듣고, 반응하고, 교류하는지 조향할 수 있게 한다. 이러한 행동에 대한 시간 정렬 주석이 공개 대화형 코퍼스에서 제공되지 않기 때문에, 우리는 in-the-wild 대화형 영상에서 행동 의사 라벨(pseudo-label)을 복원하는 추적 및 주석 파이프라인을 도입한다. 인과적(causal) flow-matching 트랜스포머가 오디오, 상대 모션, 감정 및 제안된 행동 제어를 조건으로 하는 상대 인식(partner-aware) 목표 모션을 학습한다. 우리는 추적된 파라메트릭 모션을 아바타 구동 공간으로 매핑하는 학습된 매핑으로 Universal Gaussian Head-Avatar Prior를 확장하여, STEER를 사실적인(photorealistic) 아바타 파이프라인에 통합한다. 이를 통해 기본 아바타 모델을 재학습하지 않고도 고품질 Gaussian 헤드 아바타의 제어 가능한 애니메이션이 가능해진다. STEER는 모션 품질, 역학(dynamics), 다양성에서 최근 대화형 모션 베이스라인을 능가하고, 상대 결합(partner coupling)에서는 경쟁력을 유지하며, 시선, 머리 리듬, 감정 편집과 대화형 실시간 배포를 함께 가능하게 한다. 코드와 데이터셋 주석은 웹페이지에서 공개한다.

arXiv:2607.10787v1cs.CV공통 태그 Generative Adversarial Network, Video Generation

AI 생성 비디오 탐지: 비전-언어 이중 관점 서베이

Detecting AI-Generated Video: A Vision-Language Dual-View Survey

AI 생성 비디오(AIGC-V)의 사실적 표현이 급속도로 향상됨에 따라 기존의 아티팩트 중심 탐지 방식이 점차 한계를 드러내고 있으며, 저수준 검사에서 고수준 의미 검증으로의 패러다임 전환이 요구되고 있다. 본 논문은 AIGC-V 탐지에 관한 종합적인 서베이를 제시하며, 이 과제를 사실적 충실도 검증(Factual Fidelity Verification)으로 재정의한다. 이는 비디오에 묘사된 사건, 개체, 물리적 과정이 실제 사실과 일치하는지를 묻는 문제이다. 이 빠르게 진화하는 분야를 체계화하기 위해, 우리는 기존 방법들을 내재적 단서 분석, 시공간 일관성 모델링, 교차 모달 일관성 추론, 언어 기반 세계 수준 추론의 네 개 층(layer)으로 구성된 계층적 분류 체계인 비전-언어 이중 관점(Vision-Language Dual-View) 분류 체계를 제안한다. 이 이중 관점 프레임은 기존 딥페이크 탐지의 아티팩트 매칭에서 비전-언어 모델과 에이전트(agentic) 추론 파이프라인이 가능케 하는 증거 기반 의미 검증으로의 근본적인 전환을 부각시킨다. 221편의 연구에 대한 체계적 검토를 바탕으로, AIGC-V 생성 패러다임을 종합하고, 탐지 방법의 전반적 현황을 조망하며, 제안된 관점에 따라 평가 지표 및 벤치마크를 검토한다. 마지막으로 현재의 과제를 논의하고 강건하고 설명 가능하며 신뢰할 수 있는 탐지를 위한 유망한 방향을 제시한다.

arXiv:2607.03960v1cs.CV공통 태그 Generative Adversarial Network, Video Generation

Reward Lightning: 동원성 선호도 증류를 통한 빠른 비디오 생성

Reward Lightning: Fast Video Generation via Homologous Preference Distillation

비디오 확산 모델에서 선호도 정렬과 증류 가속을 동시에 달성하는 것은 여전히 미해결 과제로 남아 있다. 기존 방법들은 두 목표를 불일치하는 표현 공간에서 최적화하여, 하나의 목표를 개선하면 다른 목표가 저하되는 경우가 많다. 이를 극복하기 위해, 우리는 단일 공유 표현 내에서 비디오 확산 모델을 정렬하고 가속화하는 통합 프레임워크인 Reward Lightning을 제안한다. 핵심 원리는 동원성(homology)으로, 두 목표 모두 동일한 잠재 특징에서 평가되어 분리된 표현에서 최적화할 때 발생하는 그래디언트 충돌을 완화한다. 기반 구성 요소로서, 먼저 픽셀 공간으로 디코딩하지 않고 잠재 공간에서 직접 비디오를 채점하는 잠재 보상 모델(LRM, Latent Reward Model)을 도입한다. LRM을 기반으로, 동원성 선호도 증류(HPD, Homologous Preference Distillation)는 이 공유 백본을 재활용하여 적대적 증류와 선호도 정렬을 공동으로 수행하며, 충실하고 잘 정렬된 소수 단계 생성기를 산출한다. 광범위한 실험을 통해 LRM이 픽셀 수준 및 잠재 수준 보상 모델 기준선을 선호도 정확도에서 각각 $11.0\%$ 및 $14.7\%$ 능가하며, Reward Lightning이 단 $1$~$4$ 단계만으로 고품질 비디오를 생성하여 평균 VBench 점수를 $2.1\%$ 향상시키면서 텍스트 정렬, 모션 품질, 시각적 품질에서 선두를 달리는 것을 보여준다. 프로젝트 페이지: https://reward-lightning.github.io.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.