arXiv:2608.11329v1 cs.SD

Qwen-MusicAVQA-7B: 음악 오디오-시각 QA를 위한 멀티모달 모델

Qwen-MusicAVQA-7B: A Multimodal Model for Music Audio-Visual QA

Maryam Dehdashti

제출 2026-08-11

한국어 초록

비전-언어 모델에 오디오를 추가하는 일반적인 접근은 대규모 옴니모달 시스템을 학습하거나 적응하는 것이다. 우리는 경량 대안이 음악 오디오-시각 질의응답(AVQA)에서 매우 효과적일 수 있음을 보인다. Qwen-MusicAVQA-7B는 학습된 선형 투영을 통해 동결(frozen)된 Whisper 인코더를 Qwen2-VL-7B-Instruct에 연결한다. 동일한 동결 인코더가 별도의 프로젝터를 통해 비디오의 음악 트랙과 TTS로 합성된 질문을 모두 처리하며, 언어 모델은 사전학습된 셀프 어텐션(self-attention)을 통해 시각 프레임, 음악, 질문 오디오를 융합하고 과제별 융합 네트워크는 사용하지 않는다. MUSIC-AVQA에서 우리 시스템은 7,402개 질문 available-video 테스트 부분집합에서 세 개의 독립적인 학습 시드에 걸쳐 96.0% ± 3.9% 정확도를 달성한다. 핵심 발견은 하류 정확도가 오디오 표현이 보존하는 세밀한 국소 시간 정보의 정도를 따라간다는 것이다. 동일한 32토큰 비교에서 stride pooling된 Whisper 프레임 시퀀스는 PANNs가 최소한 동일한 양의 오디오를 보고 훨씬 더 큰 프로젝터를 사용함에도 불구하고, 동일 예산으로 확장된 전역 pooling PANNs 표현보다 26퍼센트 포인트 우수하다. 이 효과는 단순히 시퀀스 대 벡터의 문제가 아니다. Whisper만 놓고 보더라도 고정 토큰 예산에서 시간 해상도를 낮추면 비슷한 정도의 손실이 발생한다. 일치하는 데이터와 입력 조건에서 파인튜닝된 Qwen2.5-Omni-7B는 80.9%이고 우리 30초 변형은 95.9%이다. 시스템이 백본과 적응 방식에서 다르기 때문에 이는 시스템 수준 비교이다. 재표현(rephrased) MUSIC-AVQA-R 벤치마크의 샘플링된 head 및 tail 분할에서도 정확도는 높게 유지된다(96.5% 및 95.6%). 두 인코더 모두 동결 상태를 유지하고 음악 특징이 캐시되기 때문에 전체 적응 학습 비용이 저렴하다. 완전한 2단계 AVQA 실행은 단일 A100 80GB에서 약 5시간이 걸리며, 여기 보고된 모든 실행이 해당 GPU 한 장에 수행 가능하다.

원문 초록

A common approach to adding audio to a vision-language model is to train or adapt a large omni-modal system. We show that a lightweight alternative can be highly effective for music audio-visual question answering (AVQA). Qwen-MusicAVQA-7B connects a frozen Whisper encoder to Qwen2-VL-7B-Instruct through learned linear projections. The same frozen encoder processes both the video's music track and a TTS-spoken question through separate projectors, while the language model fuses visual frames, music, and question audio through pretrained self-attention, with no task-specific fusion network. On MUSIC-AVQA, our system reaches 96.0% +/- 3.9% accuracy across three independent training seeds on the 7,402-question available-video test subset. Our central finding is that downstream accuracy tracks how much fine-grained local temporal information the audio representation preserves. In a matched 32-token comparison, a stride-pooled Whisper frame sequence outperforms a globally pooled PANNs representation expanded to the same budget by 26 percentage points, even though PANNs sees at least as much audio and uses a far larger projector. The effect is not simply sequence versus vector: within Whisper alone, reducing temporal resolution at a fixed token budget costs a comparable amount. Under matched data and inputs, fine-tuned Qwen2.5-Omni-7B reaches 80.9%, against 95.9% for our 30 s variant; because the systems differ in backbone and adaptation, this is a system-level comparison. Accuracy remains high on sampled head and tail splits of the rephrased MUSIC-AVQA-R benchmark (96.5% and 95.6%). Because both encoders stay frozen and the music features are cached, the entire adaptation is cheap to train: the complete two-stage AVQA run takes approximately 5 hours on a single A100 80GB, and every run reported here fits on that one GPU.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.11329v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.