arXiv:2611.18866v1 cs.AI

Découpage: 긴 다중 샷 비디오 생성을 위한 감독 방식의 오디오-비주얼 제어

D\'ecoupage: Directorial Audio-Visual Control for Long Multi-Shot Video Generation

Yifan Wang, Hao Ouyang, Qiuyu Wang, Yihao Meng, Wen Wang, Zeyue Tian, Yichong Lu, Hanlin Wang, Qingyan Bai, Zichen Liu, Yujun Shen, Qifeng Chen

제출 2026-11-17

한국어 초록

영화적 스토리텔링에서 소리와 시각의 전환은 항상 일치하지는 않는다. 대사는 컷을 넘나들며 반응을 보여 주거나 J컷과 L컷을 통해 새로운 장면을 도입하고, 의도적인 침묵은 장면의 호흡을 조절한다. 그러나 기존의 오디오-비주얼 생성 프레임워크는 긴 시간 범위에 걸쳐 독립적인 시각 및 음향 타이밍을 조율하는 명시적 메커니즘이 부족하다. 서사의 길이와 샷의 복잡도가 커질수록 이러한 시스템은 장기적인 대사 호흡을 유지하는 데 어려움을 겪으며, 의도된 침묵 구간에서 음성을 환각으로 생성하거나 조용히 듣고 있는 인물의 입 움직임을 잘못 구동하는 경우가 많다. 세밀한 영화적 제어를 가능하게 하기 위해, 본 논문에서는 장편, 다중 샷, 다중 인물 오디오-비디오 동시 생성을 위한 시나리오 기반 프레임워크인 DECOUPAGE를 제안한다. DECOUPAGE는 모달리티 경계를 기본적으로 결합하는 대신, 지속적인 인물 정체성에 의해 제어되는 독립적으로 경계가 지정된 시각 트랙과 음향 트랙으로 생성을 분리한다. DECOUPAGE는 이중 스케줄 시간적 교차 어텐션을 갖춘 오디오-비디오 동시 확산 모델을 기반으로 하며, 화면 밖 대사 중에는 음성 조건을 시각적 얼굴 동역학으로부터 선택적으로 분리하는 감독 방식의 립싱크 메커니즘을 포함한다. 다중 샷 대화 벤치마크에서 DECOUPAGE는 샷 전환, 오디오 타이밍, 가시성을 고려한 립싱크에 대해 정밀한 제어를 달성하며, 멀티모달 일관성을 갖춘 15초에서 60초 길이의 시나리오 기반 오디오-비디오 생성을 지휘한다.

원문 초록

In cinematic storytelling, sound and visual transitions do not always coincide in lockstep: dialogue frequently bridges across cuts to reveal reactions or introduces new scenes via J- and L-cuts, while deliberate silences pace the scene. Existing audio-visual generative frameworks, however, lack explicit mechanisms to coordinate independent visual and acoustic timing over extended horizons. As narrative duration and shot complexity scale, these systems struggle to maintain long-range dialogue pacing, often hallucinating speech during intended silences or erroneously driving mouth movements on silent listeners. To enable fine-grained cinematic control, we present DECOUPAGE, a screenplay-driven framework for long-form, multi-shot, and multi-character joint audio-video generation. Rather than coupling modality boundaries by default, DECOUPAGE uncouples generation into independently bounded visual and acoustic tracks governed by persistent character identities. DECOUPAGE builds on a joint audio-video diffusion model with dual-schedule temporal cross-attention, incorporating a directorial Lip-sync mechanism that selectively decouples speech conditioning from visual facial dynamics during off-screen dialogue. On multi-shot conversational benchmarks, DECOUPAGE achieves precise control over shot transitions, audio timing, and visibility-aware lip synchronization, directing 15- to 60-second screenplay-driven audio-video generation with multimodal coherence.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18866v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.