arXiv:2609.02367v2 cs.MM

누락된 시간적 연결고리: 시나리오 기반 오디오-비디오 생성을 위한 Temporal Context Routing

The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation

Yichen Liu, Quanwei Zhang, Haozhe Wang, Donghao Zhou, Jiankun Zhang, Xiaojie Li, Yang Shi, Jiaming Liu, Ruihua Huang, Yingtian Zou, Daquan Zhou

제출 2026-09-02

한국어 초록

오디오-비디오 공동 생성 모델은 시각적 품질과 오디오-비디오 동기화 측면에서 상당한 진전을 이루었으나, 샷 전환이 일어나는 시점과 대사가 말해지는 시점에 대한 제어는 여전히 제한적이다. 이러한 한계는 타이밍 오류가 서사적 일관성과 시청 경험을 훼손할 수 있는 시나리오 기반 콘텐츠 제작에서의 활용을 제약한다. 현재의 공동 생성기는 공유된 시간 축 위에서 비디오와 오디오 표현을 정렬하지만, 구조화된 프롬프트에 명시된 샷과 대사의 정확한 타이밍은 프롬프트의 텍스트 표현에만 인코딩되어 있어 어느 모달리티의 시간 좌표와도 정렬되지 않은 채 남아 있다. 그 결과 비디오와 오디오는 서로 동기화된 상태를 유지하면서도 둘 다 시나리오 타임라인을 따르지 못할 수 있다. 이러한 불일치는 시간적 정렬을 비디오와 오디오를 넘어 구조화된 시나리오까지 확장해야 한다는 동기를 제공한다. 이에 우리는 시나리오 타이밍을 비디오·오디오 생성의 공유 시간 축에 매핑하고, 각 프롬프트의 가이던스를 두 모달리티의 해당 위치로 라우팅하는 Temporal Context Routing(TCR)을 제안한다. 200개의 테스트 시나리오에서 기준선과 비교했을 때, TCR은 Shot Boundary MAE를 1.11초에서 0.042초로 96% 감소시키고, Dialogue [email omitted] s를 28.3%에서 84.1%로 향상시킨다. TCR은 이러한 개선을 달성하면서도 시각적 품질과 오디오-비디오 동기화는 기준선과 비슷한 수준으로 유지한다. 사용자 연구에서도 참가자들은 평가된 다섯 가지 항목 모두에서 TCR을 선호하는 것으로 나타났다.

원문 초록

Joint audio-video generation models have made substantial progress in visual quality and audio-visual synchronization. However, they still provide limited control over when shot transitions occur and dialogue is spoken. This limitation constrains their application in script-driven content creation, where timing errors can undermine narrative coherence and the viewing experience. Current joint generators align video and audio representations on a shared temporal axis, yet the precise timing of shots and dialogue specified in a structured prompt is encoded only in the prompt's text representation and remains unaligned with the temporal coordinates of either modality. Consequently, video and audio may remain synchronized with each other while both fail to follow the script timeline. This mismatch motivates us to extend temporal alignment beyond video and audio to include the structured script. We therefore introduce Temporal Context Routing (TCR), which maps the script timing onto the shared temporal axis of video and audio generation and routes each prompt's guidance to the corresponding positions in both modalities. Compared with the baseline on 200 test scripts, TCR reduces Shot Boundary MAE by 96%, from 1.11 s to 0.042 s, and raises Dialogue [email omitted] s from 28.3% to 84.1%. TCR achieves these improvements while maintaining visual quality and audio-visual synchronization comparable to those of the baselines. A user study further shows that participants prefer TCR on all five evaluated dimensions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.02367v2제출 시각 미확인
  2. arXiv:2609.02367v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.