증류 불필요: 비인과적 노이즈 셰이핑을 통한 단일 패스 실시간 토킹 헤드
No Distillation Needed: Single-Pass Real-Time Talking Heads via Acausal Noise Shaping
오디오 기반 얼굴 애니메이션은 실시간 아바타, 텔레프레즌스, 그리고 임바디드 가상 에이전트의 기반이 된다. 또한 이는 온라인으로 동작해야 하며, 각 프레임은 현재 시점까지 관측된 오디오로부터 대화형(interactive) 속도로 생성되어야 한다. 최근의 발전은 디퓨전 모델(diffusion model)이 주도하고 있는데, 이는 샘플당 많은 네트워크 평가가 필요하여 스트리밍에는 적합하지 않다. 우리는 이 분야에서 그러한 비용이 불필요하다고 주장한다. 오디오에 조건화된 얼굴 움직임은 비교적 저차원 매니폴드(manifold)에 위치하며, 이는 단일 패스(single-pass) 생성적 적대 신경망(GAN)만으로도 충분한 영역이다. 장애물은 모델의 용량(capacity)이 아니라 확률적 구조(stochastic structure)에 있다. 우리는 독립동일분포(i.i.d.) 노이즈에 의해 구동되는 인과적(causal)이고 시불변(time-invariant)인 생성자가 각 스텝의 이노베이션(innovation)을 붕괴시키지 않고서는 특정 대역에서 출력 스펙트럼을 억제할 수 없음을 보인다. 우리는 노이즈 경로를 비인과적으로(acausally) 셰이핑하여 이러한 한계를 해소한 FaceGAN을 제안한다. 구동 노이즈가 합성(synthetic)된 것이기 때문에 그 미래 값을 지금 미리 샘플링할 수 있으며, 따라서 오디오-표현(audio-to-expression) 경로는 인과성을 유지하고 모델은 완전한 인과적 동작을 지원한다. FaceGAN은 프레임당 단일 순전파로 표정과 머리 자세를 생성하며, 생성 품질에서 최신 기법과 동등하거나 이를 상회한다. 피드포워드 구조이며 어텐션 윈도우가 제한되어 있어, 드리프트(drift) 없이 무한히 생성할 수 있다.