EXAM2: 다국어 및 멀티모달 분석을 통한 오디오 이해의 확장
EXAM2: Extending Audio Understanding in Multilingual and Multimodal Analysis
최근 대규모 오디오 언어 모델(LALM)은 오디오 이해 분야에서 눈부신 발전을 이루었습니다. 그러나 기존 평가는 대부분 영어와 좁은 오디오 영역에 국한되어 있습니다. 이전 벤치마크는 일반적으로 음성, 음향, 음악과 같은 단일 오디오 모달리티에 집중하여, 이러한 모델들이 다양한 시각적 시나리오 전반에 어떻게 일반화되는지에 대한 체계적인 조사를 제한했습니다. 본 논문에서는 음성, 음향, 음악, 혼합 오디오 환경, 시각적 이미지를 포함한 여러 모달리티와 6개 언어에 걸친 다국어 및 멀티모달 오디오 이해 벤치마크인 EXAM$^2$를 소개합니다. 이종 오디오 입력과 함께 시각적 정보를 통합함으로써, EXAM$^2$는 장면 인지 오디오 추론 및 교차 모달 이해에 대한 보다 현실적인 평가를 가능하게 합니다. EXAM$^2$는 5,667개의 객관식 질문, 22,614개의 이미지 인스턴스, 135,684개의 다국어 번역으로 구성됩니다. 최고 수준의 오픈소스 및 독점 LALM과 멀티모달 LLM을 평가한 결과, 다국어 및 교차 모달 이해에서 상당한 성능 격차가 드러났습니다. 나아가 본 논문에서는 EXAM$^2$-train으로 파인튜닝된 경량 융합 모델인 Gemma3n-EXAM$^2$를 제안하며, 이는 강력한 기준선(baseline) 대비 다국어 환경에서 최대 15.8%, 멀티모달 평가에서 16.5%의 성능 향상을 달성합니다. 실증적 결과는 EXAM$^2$가 도전적인 벤치마크임을 입증하며 향후 다국어 및 멀티모달 오디오 지능 연구를 개척합니다.