arXiv:2501.09972

GVMGen: A General Video-to-Music Generation Model with Hierarchical Attentions

Heda Zuo, Weitao You, Junxian Wu, Shihong Ren, Pei Chen, Mingxu Zhou, Yujia Lu, Lingyun Sun

제출 2025-01-17

원문 초록

Composing music for video is essential yet challenging, leading to a growing interest in automating music generation for video applications. Existing approaches often struggle to achieve robust music-video correspondence and generative diversity, primarily due to inadequate feature alignment methods and insufficient datasets. In this study, we present General Video-to-Music Generation model (GVMGen), designed for generating high-related music to the video input. Our model employs hierarchical attentions to extract and align video features with music in both spatial and temporal dimensions, ensuring the preservation of pertinent features while minimizing redundancy. Remarkably, our method is versatile, capable of generating multi-style music from different video inputs, even in zero-shot scenarios. We also propose an evaluation model along with two novel objective metrics for assessing video-music alignment. Additionally, we have compiled a large-scale dataset comprising diverse types of video-music pairs. Experimental results demonstrate that GVMGen surpasses previous models in terms of music-video correspondence, generative diversity, and application universality.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.07207v1cs.SD공통 태그 Diversity, Music Generation

엔트로피를 구조적 사전으로 활용: DiT 신뢰 공간에 적용한 로그-배리어가 음악적 다양성과 전개를 이끄는 방식

Entropy as a Structural Prior: How a Log-Barrier on DiT Belief Space Drives Musical Diversity and Development

신뢰도 기반 손실(loss) 가중치(weighting)는 모델(model)이 확신하지만 틀린 경우 오류를 가속화하므로 생성 모델에서는 일반적으로 피하지만, 이 직관은 지도 학습(supervised) 디퓨전 학습(training)에서는 성립하지 않습니다. 본 연구에서는 DiT 출력의 공간적 에너지 분포 엔트로피에서 파생된 매개변수가 없는 가중치인 Eisbach 로그-배리어(log-barrier)를 소개합니다. 높은 엔트로피는 그래디언트(gradient)를 감쇠시키는 반면, 낮은 엔트로피는 이를 보존합니다. MusicCaps 데이터셋에서 Stable Audio 3 Medium의 LoRA 미세조정(fine-tuning)에 적용한 결과, 가중치가 없는 학습보다 더 강력한 주제적 전개, 명확한 음향적 차별화, 그리고 높은 질감적 다양성이 예상치 못하게 나타났으며, 이는 모드 붕괴(mode collapse)와는 정반대의 현상입니다. 이는 지도 학습 디퓨전에서 그래디언트(gradient) 방향이 정답(ground truth)에 고정되어 있어 신뢰도가 단순히 스텝 크기만 조절한다는 점, 그리고 시간적 엔트로피가 평탄한(flat) 샘플의 가중치는 낮추면서 고대비(high-contrast) 샘플은 보존한다는 점 때문에 작동합니다. 그 결과, 분석된 노이즈 수준 동역학(dynamics)과 검증 가능한 예측을 포함하여, 순전파(forward pass)에서만 순수하게 발생하는 온라인 자기 참조적 데이터 커리큘럼이 도출되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.