arXiv:2209.08795

AutoLV: Automatic Lecture Video Generator

Wenbin Wang, Yang song, Sanjay Jha

제출 2022-09-19

원문 초록

We propose an end-to-end lecture video generation system that can generate realistic and complete lecture videos directly from annotated slides, instructor's reference voice and instructor's reference portrait video. Our system is primarily composed of a speech synthesis module with few-shot speaker adaptation and an adversarial learning-based talking-head generation module. It is capable of not only reducing instructors' workload but also changing the language and accent which can help the students follow the lecture more easily and enable a wider dissemination of lecture contents. Our experimental results show that the proposed model outperforms other current approaches in terms of authenticity, naturalness and accuracy. Here is a video demonstration of how our system works, and the outcomes of the evaluation and comparison: https://youtu.be/cY6TYkI0cog.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.11070v1cs.CV공통 태그 Video Generation, Talking Head Generation

증류 불필요: 비인과적 노이즈 셰이핑을 통한 단일 패스 실시간 토킹 헤드

No Distillation Needed: Single-Pass Real-Time Talking Heads via Acausal Noise Shaping

오디오 기반 얼굴 애니메이션은 실시간 아바타, 텔레프레즌스, 그리고 임바디드 가상 에이전트의 기반이 된다. 또한 이는 온라인으로 동작해야 하며, 각 프레임은 현재 시점까지 관측된 오디오로부터 대화형(interactive) 속도로 생성되어야 한다. 최근의 발전은 디퓨전 모델(diffusion model)이 주도하고 있는데, 이는 샘플당 많은 네트워크 평가가 필요하여 스트리밍에는 적합하지 않다. 우리는 이 분야에서 그러한 비용이 불필요하다고 주장한다. 오디오에 조건화된 얼굴 움직임은 비교적 저차원 매니폴드(manifold)에 위치하며, 이는 단일 패스(single-pass) 생성적 적대 신경망(GAN)만으로도 충분한 영역이다. 장애물은 모델의 용량(capacity)이 아니라 확률적 구조(stochastic structure)에 있다. 우리는 독립동일분포(i.i.d.) 노이즈에 의해 구동되는 인과적(causal)이고 시불변(time-invariant)인 생성자가 각 스텝의 이노베이션(innovation)을 붕괴시키지 않고서는 특정 대역에서 출력 스펙트럼을 억제할 수 없음을 보인다. 우리는 노이즈 경로를 비인과적으로(acausally) 셰이핑하여 이러한 한계를 해소한 FaceGAN을 제안한다. 구동 노이즈가 합성(synthetic)된 것이기 때문에 그 미래 값을 지금 미리 샘플링할 수 있으며, 따라서 오디오-표현(audio-to-expression) 경로는 인과성을 유지하고 모델은 완전한 인과적 동작을 지원한다. FaceGAN은 프레임당 단일 순전파로 표정과 머리 자세를 생성하며, 생성 품질에서 최신 기법과 동등하거나 이를 상회한다. 피드포워드 구조이며 어텐션 윈도우가 제한되어 있어, 드리프트(drift) 없이 무한히 생성할 수 있다.

arXiv:2607.04443v2cs.CV공통 태그 Speech Synthesis, Video Generation

Wan-Streamer v0.2: 더 높은 해상도, 동일한 지연 시간

Wan-Streamer v0.2: Higher Resolution, Same Latency

우리는 네이티브 스트리밍 방식의 엔드투엔드 오디오-비주얼 상호작용 모델의 지연 시간 보존 업그레이드인 Wan-Streamer v0.2를 소개한다. v0.2는 v0.1의 모델링 공식을 유지하면서 25 FPS에서 약 200 ms의 모델 측 신호-신호 간 지연 시간을 보존하며 인터랙티브 출력 스트림을 192x336에서 640x368로 높인다. 더 높은 해상도의 스트림은 자세, 시선, 손, 주변 사물, 로컬 장면 레이아웃이 실시간 대화 중에도 식별 가능한 상태를 유지하는 장면 기반 미드샷 에이전트를 지원한다. 사용자가 체감하는 지연 없이 더 큰 시각적 스트림을 지원하기 위해 v0.2는 씽커(thinker)를 스트리밍 지각을 위한 단일 GPU 저지연 경로, 생성 캐시를 구축하는 짧은 언어/상태 트랜스포머 패스, 최종 디코딩으로 유지한다. 퍼포머(performer)는 비용이 큰 차세대 유닛 잠재(latent) 생성을 위한 멀티 GPU 율리시스(Ulysses) 방식 컨텍스트 병렬 그룹이 된다. 각 퍼포머 랭크는 수신되는 K/V를 사전 샤딩된 로컬 캐시에 기록한다. 긴 고해상도 잠재 비디오 시퀀스는 디노이징을 위해 랭크 전체에 분할되고 Ulysses 통신을 통해 수집되는 반면, 훨씬 짧은 오디오 잠재 시퀀스는 시퀀스 샤딩 없이 생성된다. 이 분할에서 씽커의 언어/상태 연산은 K/V 컨디셔닝으로만 퍼포머에 전달되므로 퍼포머 그룹 내부에서 별도의 언어 시퀀스를 통신할 필요가 없다. 이를 통해 씽커-퍼포머 경계를 간결하게 유지하면서 추가 하드웨어를 시각적 생성에 집중할 수 있으며, 350 ms의 양방향 네트워크 예산이 포함될 때 총 원격 상호작용 지연 시간을 약 550 ms로 유지한다.

arXiv:2607.02799v1cs.CV공통 태그 Speech Synthesis, Video Generation

대화형 인간 오디오-비주얼 토킹 다이얼로그 생성

Conversational Human Audio-visual Talking Dialogue Generation

대규모 양자 간 상호작용 오디오-비주얼 다이얼로그(DIAD) 데이터셋은 휴머노이드 상호작용 가상 에이전트와 디지털 휴먼 개발을 위한 핵심 데이터 자원을 제공합니다. 그러나 이러한 데이터 수집은 시간이 많이 소요되고 비용이 높으며 윤리적으로 민감합니다. 이를 해결하기 위해, 우리는 단일 텍스트 프롬프트로부터 다양하고 쌍을 이루며 상호 반응하는 음성-얼굴 대화 클립을 생성하는 새로운 양자 간 상호작용 오디오-비주얼 다이얼로그 생성(DIADG) 프레임워크인 CHAT을 제안합니다. CHAT은 대규모 언어 모델(LLM)과 토킹 페이스 모델을 상호작용 오디오 및 안면 행동 정제 모듈과 통합하여, 다양한 콘텐츠와 안면 정체성을 갖춘 정렬된 양자 간 대화 클립 생성을 가능하게 합니다. 실험 결과, CHAT은 유사한 태스크를 위해 설계된 기존 관련 방법들을 객관적 및 주관적 평가 모두에서 능가합니다. 또한, 합성된 CHAT-AVD-50k 데이터셋은 다운스트림 인터랙티브 헤드 생성을 위한 효과적인 사전학습 데이터로 활용되어 REACT 2024에서 PerFRDiff와 ReactDiff를 일관되게 향상시킵니다. CHAT은 실제 양자 간 상호작용 데이터의 비용이 높고 윤리적으로 민감한 수집에 대한 확장 가능한 대안을 제공합니다.

arXiv:2607.00959v1cs.CV공통 태그 Speech Synthesis, Video Generation

GaussianEmoTalker: 오디오 기반 및 블렌드셰이프 기반 3D 가우시안 스플래팅을 이용한 실시간 감정 표현 토킹 헤드 합성

GaussianEmoTalker: Real-Time Emotional Talking Head Synthesis with Audio-Driven and Blendshape-Based 3D Gaussian Splatting

오디오 기반 토킹 헤드 합성은 입술 동기화와 시각적 품질 측면에서 인상적인 발전을 이루었지만, 실시간 제약 조건 하에서 제어 가능한 강도를 갖춘 표현력 있는 감정 아바타를 생성하는 것은 여전히 어려운 과제입니다. 본 논문에서는 3D 가우시안 스플래팅(3D Gaussian Splatting)에 기반한 실시간 감정 표현 토킹 헤드 합성을 위한 오디오 기반 프레임워크인 GaussianEmoTalker를 제안합니다. 음성으로부터 최종 감정 아바타를 직접 예측하는 대신, 감정 애니메이션을 중립-감정 잔차 변형(neutral-to-emotional residual deformation) 문제로 정식화합니다. GaussianEmoTalker는 먼저 GaussianBlendshapes를 이용해 고충실도 가우시안 속성과 음소 동기화된 중립 동작을 제공하는 개인 특화 중립 토킹 공간을 구성합니다. 이후 메시 변위 단서, 오디오 특징, 감정 범주, 강도 인코딩을 결합하여 감정 조건부 잔차 변형을 예측합니다. 이러한 이질적 신호들을 융합하기 위해, 표현력 있고 시간적으로 안정적인 렌더링을 위한 가우시안 속성의 오프셋을 추정하는 공간-오디오-감정 어텐션 모듈을 도입합니다. 광범위한 실험을 통해 GaussianEmoTalker가 최신 감정 토킹 헤드 방법들과 비교하여 경쟁력 있는 영상 품질, 정확한 입술 동기화, 제어 가능한 감정 표현, 그리고 실시간 렌더링을 달성함을 입증합니다. 프로젝트 페이지는 https://njust-yang.github.io/GaussianEmoTalker.github.io/ 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.