inferencematter.ai

이 이메일 도메인이 관측된 논문 1건

arXiv:2608.11329v1cs.SD

Qwen-MusicAVQA-7B: 음악 오디오-시각 QA를 위한 멀티모달 모델

Qwen-MusicAVQA-7B: A Multimodal Model for Music Audio-Visual QA

비전-언어 모델에 오디오를 추가하는 일반적인 접근은 대규모 옴니모달 시스템을 학습하거나 적응하는 것이다. 우리는 경량 대안이 음악 오디오-시각 질의응답(AVQA)에서 매우 효과적일 수 있음을 보인다. Qwen-MusicAVQA-7B는 학습된 선형 투영을 통해 동결(frozen)된 Whisper 인코더를 Qwen2-VL-7B-Instruct에 연결한다. 동일한 동결 인코더가 별도의 프로젝터를 통해 비디오의 음악 트랙과 TTS로 합성된 질문을 모두 처리하며, 언어 모델은 사전학습된 셀프 어텐션(self-attention)을 통해 시각 프레임, 음악, 질문 오디오를 융합하고 과제별 융합 네트워크는 사용하지 않는다. MUSIC-AVQA에서 우리 시스템은 7,402개 질문 available-video 테스트 부분집합에서 세 개의 독립적인 학습 시드에 걸쳐 96.0% ± 3.9% 정확도를 달성한다. 핵심 발견은 하류 정확도가 오디오 표현이 보존하는 세밀한 국소 시간 정보의 정도를 따라간다는 것이다. 동일한 32토큰 비교에서 stride pooling된 Whisper 프레임 시퀀스는 PANNs가 최소한 동일한 양의 오디오를 보고 훨씬 더 큰 프로젝터를 사용함에도 불구하고, 동일 예산으로 확장된 전역 pooling PANNs 표현보다 26퍼센트 포인트 우수하다. 이 효과는 단순히 시퀀스 대 벡터의 문제가 아니다. Whisper만 놓고 보더라도 고정 토큰 예산에서 시간 해상도를 낮추면 비슷한 정도의 손실이 발생한다. 일치하는 데이터와 입력 조건에서 파인튜닝된 Qwen2.5-Omni-7B는 80.9%이고 우리 30초 변형은 95.9%이다. 시스템이 백본과 적응 방식에서 다르기 때문에 이는 시스템 수준 비교이다. 재표현(rephrased) MUSIC-AVQA-R 벤치마크의 샘플링된 head 및 tail 분할에서도 정확도는 높게 유지된다(96.5% 및 95.6%). 두 인코더 모두 동결 상태를 유지하고 음악 특징이 캐시되기 때문에 전체 적응 학습 비용이 저렴하다. 완전한 2단계 AVQA 실행은 단일 A100 80GB에서 약 5시간이 걸리며, 여기 보고된 모든 실행이 해당 GPU 한 장에 수행 가능하다.