동적 멀티모달 검색을 통한 인과적 오디오 기반 얼굴 모션 개인화
Personalizing Causal Audio-Driven Facial Motion via Dynamic Multi-modal Retrieval
한국어 초록
오디오 기반 얼굴 애니메이션은 몰입형 디지털 상호작용에 필수적이지만, 기존 프레임워크는 실시간 스트리밍과 고충실도 개인화를 동시에 만족시키기 어렵다. 현재 방법들은 지연을 유발하는 오디오 look-ahead에 의존하거나, 사용자에게 스크립트가 정해진 보정(calibration) 시퀀스를 녹화하여 사전 인코딩된 정적 정체성(identity) 임베딩을 만들도록 요구하는데, 이는 동적인 개인적 특성(idiosyncrasies)을 포착하지 못한다. 우리는 개인화된 오디오 기반 얼굴 모션 생성을 위한 end-to-end 프레임워크를 제안하며, 인과적(causal)이고 look-ahead가 없는(zero-lookahead) 스트리밍을 지원한다. 두 가지 핵심 혁신을 도입한다: (1) 전역 시간적 문맥과 고주파 조음(articulatory) 세부를 모두 포착하는 인과적 다중 해상도 모션 토크나이저, (2) 진행 중인 오디오와 모션을 공동으로 질의하여 비구조화된 참조 라이브러리에서 스타일 사전(stylistic priors)을 추출하는 멀티모달 스타일 리트리버. 큐레이션된, 고정 크기의, 또는 오디오 전용 스타일 뱅크로 제한된 기존 검색 메커니즘과 달리, 우리 설계는 대상 정체성의 임의 영상을 받아들여, 소수의 캐주얼하게 녹화된 클립만으로 개인화를 가능하게 한다. 이 구성 요소들을 통합함으로써, 우리 방법은 립싱크 정확도, 정체성 일관성, 지각적 사실감(perceived realism)에서 최신(state-of-the-art) 접근법을 능가하면서, 실시간 원격 현존(telepresence)의 스트리밍 제약을 유지한다. 코드는 https://github.com/xg-chu/Fallingwater 에서 이용 가능하다.
원문 초록
Audio-driven facial animation is essential for immersive digital interaction, yet existing frameworks struggle to reconcile real-time streaming with high-fidelity personalization. Current methods either rely on latency-inducing audio look-ahead, or ask users to record scripted calibration sequences to pre-encode static identity embeddings that fail to capture dynamic idiosyncrasies. We present an end-to-end framework for personalized audio-driven facial motion generation, supporting causal, zero-lookahead streaming. We introduce two key innovations: (1) a causal multi-resolution motion tokenizer that captures both global temporal context and high-frequency articulatory details, and (2) a multi-modal style retriever that extracts stylistic priors from unstructured reference libraries by jointly querying ongoing audio and motion. Unlike prior retrieval mechanisms restricted to curated, fixed-size, or audio-only style banks, our design accepts arbitrary footage of the target identity, enabling personalization from a handful of casually recorded clips. By integrating these components, our method outperforms state-of-the-art approaches in lip-sync accuracy, identity consistency, and perceived realism, while preserving the streaming constraints of real-time telepresence. Code is available at https://github.com/xg-chu/Fallingwater.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2604.23692v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.