arXiv:2512.12196v2 cs.MM

AutoMV: 뮤직비디오 생성을 위한 자동 멀티 에이전트 시스템

AutoMV: An Automatic Multi-Agent System for Music Video Generation

Xiaoxuan Tang, Xinping Lei, Chaoran Zhu, Shiyun Chen, Ruibin Yuan, Yizhi Li, Changjae Oh, Ge Zhang, Wenhao Huang, Emmanouil Benetos, Yang Liu, Jiaheng Liu, Yinghao Ma

제출 2026-11-18

한국어 초록

노래 한 곡 전체를 뮤직비디오(MV)로 만들려면 은유적이고 여러 언어로 되어 있으며 후렴마다 반복되는 가사를 음악적 특성과 함께 해석하고, 그 결과로 얻은 이미지를 노래의 구조에 맞춰 배치해야 한다. 기존의 음악-비디오 시스템은 짧은 클립이나 오디오 반응형 영상을 생성하며 가사의 의미를 거의 활용하지 않는다. 본 논문은 LLM 시나리오 작가 에이전트와 감독 에이전트가 시간 정렬된 가사와 음악 분석으로부터 노래 전체의 시각적 서사를 계획하고, 공유 캐릭터 뱅크를 통해 등장인물의 일관성을 유지하며, 각 샷을 검증과 함께 시네마틱 또는 립싱크 렌더링으로 라우팅하는, 학습이 필요 없는 멀티 에이전트 프레임워크 AutoMV를 제시한다. 노래 전체 MV를 평가하기 위해 공개된 노래 30곡과 해당 공식 MV, 객관적인 오디오-시각 지표, 음악 산업 전문가가 평가하는 12개 기준의 평가표로 구성된 M2VBench를 구축한다. 전문가 평가 결과 AutoMV는 다른 기준선보다 우수하지만, 사람이 제작한 MV와는 여전히 격차가 있다. 절제 연구는 음악적 주제 정렬과 스토리텔링에 시간 정렬된 가사가 중요함을 보여 준다. 또한 본 평가표의 안내를 받는 선별된 멀티모달 판정 모델이 자동 시스템에 대한 전문가의 순위를 복원하지만, 세밀한 평가에서는 일부 불일치가 있음을 발견했다.

원문 초록

Turning a full song into a music video (MV) requires interpreting its lyrics, which are often metaphorical, multilingual, and repeated across choruses, together with its musical character, and laying the resulting imagery out along the song's structure. Existing music-to-video systems produce short clips or audio-reactive visuals and make little use of lyric meaning. We present AutoMV, a training-free multi-agent framework in which LLM Screenwriter and Director agents plan a full-song visual narrative from time-aligned lyrics and music analysis, keep characters consistent through a shared character bank, and route each shot to cinematic or lip-sync rendering with verification. To evaluate full-song MVs, we build M2VBench: 30 released songs paired with their official MVs, objective audio--visual metrics, and a 12-criterion rubric rated by music-industry experts. Expert evaluation shows that AutoMV outperforms other baselines, although a gap remains to human-produced MVs. Ablation studies highlight the importance of time-aligned lyrics for musical theme alignment and storytelling. We further find that the selected multimodal judge, guided by our evaluation rubric, recovers the expert ranking of automatic systems, with some discrepancies in fine-grained assessments.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2512.12196v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.