arXiv:2611.22857v1 cs.CV

공동 생성을 넘어: 오디오와 비디오가 함께 생성된다는 것의 의미 다시 보기

Beyond Co-Generation: Rethinking Jointness in Joint Audio-Video Generation

Jihoo Jung, Ji-Hoon Kim, Suyeon Lee, Gia Thinh Pham, Joon Son Chung

제출 2026-11-18

한국어 초록

텍스트에서 오디오와 비디오를 함께 생성하는 과제(T2AV)에서 실제로 두 모달리티가 어떻게 조율되는지, 특히 의미 일관성을 중심으로 살펴본다. 상세한 텍스트 프롬프트가 있으면 의미 일관성이 두 모달리티의 실제 조율에서 나온 것인지, 각각 텍스트를 따랐기 때문인지 구분하기 어렵다. 이를 구별하기 위해 내재적 공동성이라는 개념을 도입한다. 프롬프트에 명시되지 않은 세부 요소를 오디오와 비디오가 같은 방식으로 구현하는 능력을 뜻한다. ‘전기 기타 연주(electric guitar playing)’보다 덜 구체적인 ‘악기 연주(musical instrument playing)’처럼 의미를 일부만 지정하는 프롬프트로 최신 모델 네 개를 조사했으며, 내재적 공동성이 제한적임을 발견했다. 이를 개선하기 위해 표현을 정렬해 모달리티 간 조율을 돕는 간단한 사후 학습 방법 JointREPA를 제안한다. 기존 벤치마크는 의미가 상세한 프롬프트를 사용하므로, 프롬프트에서 의미를 일부만 지정했을 때의 내재적 공동성을 평가하는 UNSAIDBench를 도입한다. 서로 다른 모델 두 개와 UNSAIDBench를 포함한 벤치마크 세 개의 실험에서 JointREPA는 의미 일관성을 일관되게 개선했다.

원문 초록

Our aim is to advance the understanding of genuine audio-visual coordination in joint text-to-audio-video (T2AV) generation, with particular emphasis on semantic consistency. Evaluating audio-visual consistency in T2AV generation is nontrivial, as detailed text prompts obscure whether such consistency stems from genuine cross-modal coordination or merely from independent text following. To isolate the former, we introduce intrinsic jointness: the ability of audio and video to produce the same realization for details left underspecified by the prompt. Using semantically underspecified prompts (e.g., "musical instrument playing" rather than "electric guitar playing"), we investigate four recent models and reveal their limited intrinsic jointness. To address this limitation, we propose JointREPA, a simple representation alignment-based post-training method to facilitate cross-modal coordination. Since existing benchmarks use semantically detailed prompts, we introduce UNSAIDBench, a benchmark designed to evaluate intrinsic jointness under semantic underspecification. Experiments across two distinct models and three benchmarks, including UNSAIDBench, demonstrate that JointREPA consistently improves semantic consistency.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22857v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.