오디오 기반 디지털 휴먼 생성을 위한 최첨단 모델들은 말하는 머리 합성(talking-head synthesis)에서 사실적인 결과를 달성했습니다. 그러나 상당한 도메인 격차(Domain Gap)로 인해 이러한 모델을 노래하는 머리 합성(singing-head synthesis)으로 확장하는 것은 여전히 어려운 과제로 남아 있습니다. 노래는 더 과장된 표정, 생생한 턱 벌림, 그리고 정밀한 리듬 동기화를 필요로 하기 때문입니다. 주로 음성 데이터셋으로 학습된 기존 모델들은 종종 "리듬 편차(rhythmic drift)"와 제한된 역동성으로 인해 어려움을 겪습니다. 이를 해결하기 위해 우리는 노래하는 머리 합성에 특별히 맞춰진 최초의 대규모 고품질 인더와일드(in-the-wild) 비디오 데이터셋인 Hi-Singers를 소개합니다. Hi-Singers는 엄격한 자동화 및 수동 필터링 파이프라인을 거쳐 엄격한 주제 부합성, 고해상도 렌더링, 안정적인 움직임을 보장하며, 총 약 170시간에 달하는 29,608개의 비디오 세그먼트를 구축했습니다. 나아가 우리는 언어 및 음악적 스타일에 걸쳐 균형 잡힌 전용 평가 벤치마크를 구축했습니다. 3D 계수 기반 및 확산(diffusion) 기반 모델을 포함한 다양한 아키텍처에 걸친 광범위한 실험은 Hi-Singers가 모든 차원에서 성능을 일관되고 크게 향상시킴을 보여줍니다. 구체적으로, 이 데이터셋을 통해 모델은 우수한 시각적 사실성, 향상된 립싱크 일관성, 더욱 정밀한 리듬 역동성을 달성할 수 있어 도메인 격차를 효과적으로 해소하고 노래 합성 태스크에 대한 새로운 성능 기준을 제시합니다. 해당 데이터셋은 https://huggingface.co/datasets/CharlesZhang-USTC/Hi-Singers 에서 확인할 수 있습니다.
토킹헤드(talking-head) 및 이인(dyadic) 모델은 이제 실시간 추론을 달성하지만, 빠른 모션 생성만으로는 대화형 상호작용이 만들어지지 않는다. 라이브 시스템은 모델 출력을 외부 음성 에이전트의 발화와 동기화하고, 재생을 위해 비디오 프레임을 스케줄링하며, 중단(interruption)을 처리해야 한다. 우리는 양 참가자의 오디오에 조건을 건 컴팩트한 1억 5,300만 매개변수(153M-parameter) 자기회귀(autoregressive) flow-matching 모션 생성기를 중심으로 구축한, 실시간 대화형 아바타 대화를 위한 오픈 스택 AVTR-1을 제안한다. 자기 증류(self-distillation)를 통해 오디오 인코더를 스트리밍에 맞게 적응시킨다. 이 스택은 모델의 청크 기반 생성을 외부 음성 에이전트가 구동하는 연속적이고 동기화된 오디오-비디오 스트림으로 바꾸며, 사용자 대면 지연(latency)에 대한 기여를 해석적으로 유도하고 두 상용 음성 에이전트로 그 상한을 검증한다. 추가 실험에서 AVTR-1은 비교된 이인 시스템들 가운데 보고된 모든 시각 품질 지표와 대부분의 기존 청취-모션(listening-motion) 지표에서 우수하며, 입술 동기화(lip synchronization)에서는 경쟁력을 유지한다. 추론 런타임은 데이터센터 및 소비자용 GPU에서 실시간으로 동작한다. 그러나 기존 청취 지표만으로는 짝을 이룬 화자(speaker)의 발화가 생성된 모션에 기여하는지 입증할 수 없다. 따라서 우리는 청취자(listener) 이력과 화자 모션을 고려한 뒤 화자 발화가 추가로 전달하는 예측 정보를 측정하는 Reference-Based Directed Granger Gain(R-DGG)을 도입한다. R-DGG는 녹화된 청취자와 평가된 모든 이인 시스템에서 통계적으로 뒷받침되는 예측 의존성을 보이지만, 짝 오디오 없는 토킹헤드 생성기나 불일치한 화자-청취자 쌍에서는 그렇지 않다. 모델 가중치, 렌더러, 서빙 백엔드를 구성요소별 라이선스 하에 공개한다.
프로덕션 준비형(production-ready) 오디오 기반 아바타 생성은 충실도나 모션 표현력을 희생하지 않으면서 효율적인 추론을 요구한다. 그러나 기존 가속 방법은 인과적 어텐션(causal attention)이나 짧은 시간적 지평(short temporal horizons)과 같은 제한적인 아키텍처 선택을 통해, 또는 모델 용량과 해상도를 줄이는 방식으로 종종 품질을 타협한다. 이러한 타협 없이, 우리는 빠르고 표현력 있는 추론을 제공하는 140억 매개변수(14B-parameter) 장편 오디오 기반 아바타 생성 프레임워크인 AptAvatar를 제안한다. 프로덕션 수준 애플리케이션에서의 효율성을 위해 AptAvatar는 극단적인 2단계 생성 과제를 다룬다. 다단계 교사 모델과 2단계 학생 모델 사이의 격차를 줄이기 위해, 우리는 Endpoint-Anchored Distribution Distillation(끝점 고정 분포 증류)을 도입한다. 이는 고정된 사전학습 4단계 브리지 생성기로부터 정의된 궤적 끝점(trajectory-endpoint) 분포에서 학습된 전용 Anchor Score Estimator(앵커 점수 추정기)를 통해 기본 분포 매칭을 보강한다. 이는 진화하는 2단계 학생 모델을 위한 달성 가능한 끝점 수준의 앵커를 제공한다. 장기 일관성을 개선하기 위해, 우리는 청크 단위(chunk-wise) 학습 동안 이전 생성기 체크포인트의 캐시된 출력을 이력 조건(history conditions)으로 재사용하는 Self-Generated History Replay(자체 생성 이력 재생)를 추가로 도입한다. 이는 비용이 큰 온라인 롤아웃(online rollouts) 없이 추론 시점의 자체 생성 이력에 대한 조건화를 근사하여, 누적된 이력 오류로 인한 품질 저하를 완화한다. 광범위한 실험은 AptAvatar가 단 2 NFE(Number of Function Evaluations)로 생생한 720p 장편 아바타 비디오를 생성하며, 시각적 충실도와 장기 정체성(long-horizon identity)을 유지하면서 60배 속도 향상을 달성함을 보여준다. 코드는 https://github.com/TaoLiveAIGC/AptAvatar 에서 제공된다.
얼굴 움직임과 표정은 대면 의사소통의 핵심으로, 발화와 함께 발언권 교환, 주의, 동의, 참여를 전달한다. 음성 기반 얼굴 애니메이션은 입술 동기화와 오디오 조건부 모션 생성에서 큰 진전을 이루었지만, 대부분의 방법은 대화 행동을 오디오의 창발적(emergent) 부산물로 취급하거나, 거친 시퀀스 수준의 정서(affect) 제어만 제공한다. 그 결과, 시선 접촉과 회피, 리듬감 있는 머리 움직임, 감정과 같은 핵심 비언어적 채널은 명시적으로 제어하기 어렵다. 우리는 반응형 대화 헤드 아바타를 위한 제어 가능한 3D 대화형(dyadic) 모션 사전(prior)인 STEER를 제시한다. STEER는 대화 행동을 시선, 머리 리듬, 감정에 대한 명시적 제어로 분해하여, 사용자가 아바타가 대화 상대를 어떻게 듣고, 반응하고, 교류하는지 조향할 수 있게 한다. 이러한 행동에 대한 시간 정렬 주석이 공개 대화형 코퍼스에서 제공되지 않기 때문에, 우리는 in-the-wild 대화형 영상에서 행동 의사 라벨(pseudo-label)을 복원하는 추적 및 주석 파이프라인을 도입한다. 인과적(causal) flow-matching 트랜스포머가 오디오, 상대 모션, 감정 및 제안된 행동 제어를 조건으로 하는 상대 인식(partner-aware) 목표 모션을 학습한다. 우리는 추적된 파라메트릭 모션을 아바타 구동 공간으로 매핑하는 학습된 매핑으로 Universal Gaussian Head-Avatar Prior를 확장하여, STEER를 사실적인(photorealistic) 아바타 파이프라인에 통합한다. 이를 통해 기본 아바타 모델을 재학습하지 않고도 고품질 Gaussian 헤드 아바타의 제어 가능한 애니메이션이 가능해진다. STEER는 모션 품질, 역학(dynamics), 다양성에서 최근 대화형 모션 베이스라인을 능가하고, 상대 결합(partner coupling)에서는 경쟁력을 유지하며, 시선, 머리 리듬, 감정 편집과 대화형 실시간 배포를 함께 가능하게 한다. 코드와 데이터셋 주석은 웹페이지에서 공개한다.
진정한 사회적 지능을 갖춘 실감나는 디지털 휴먼을 만들려면 인지 추론과 멀티모달 생성을 일관된 프레임워크 안에서 통합해야 한다. 현재 접근법들은 이를 별개의 과제로 다룬다: 대규모 언어 모델(LLM)은 대화에서 뛰어나지만 구현된 표현이 부족하고, 확산 기반 토킹 헤드 모델은 시각적 충실도를 달성하지만 사회적 인지를 무시한다. 이 격차를 해소하기 위해, 우리는 지각, 사회적 추론, 표현을 연속적인 상호작용 사이클로 통합하는 폐쇄 루프 이중 에이전트 프레임워크를 제안한다. 지각 모듈은 비디오에서 파트너의 멀티모달 행동을 분석하고, 사회적 추론 모듈은 마음 이론(Theory of Mind)을 통해 숨겨진 정신 상태를 추론하며 앙상블 메커니즘을 통해 응답을 선택한다. 표현 모듈은 화자의 발화 및 표정과 청자의 반응적 행동을 공동으로 합성하는 감정 제어 가능한 비디오를 생성하며, 이전 연구에서는 포착하지 못했던 양방향 역학을 담아낸다. 우리는 또한 정보 비대칭 하에서의 평가를 지원하기 위해 심리학적으로 근거한 페르소나와 사적 사회적 목표를 갖춘 계층적 Persona-Scenario 데이터셋을 구축한다. 이 데이터셋에 대한 실험은 대화 품질과 비디오 생성 지표 모두에서 경쟁력 있거나 우수한 성능을 보여준다. 특히, 우리의 방법은 주요 대화 품질 차원에서 완전한 정보를 갖는 Script 모드마저 능가하며, 이는 불확실성 하에서의 명시적 정신 상태 추론이 무제한적인 정보 접근보다 더 사려 깊은 대화를 이끌어낼 수 있음을 시사한다. 프로젝트 페이지: https://resonantminds.github.io/