arXiv:2510.04584v2 cs.CL

Robustness assessment of large audio language models in multiple-choice evaluation

Fernando López, Santosh Kesiraju, Jordi Luque

제출 2025-10-06

원문 초록

Recent advances in large audio language models (LALMs) have primarily been assessed using a multiple-choice question answering (MCQA) framework. However, subtle changes, such as shifting the order of choices, result in substantially different results. Existing MCQA frameworks do not account for this variability and report a single accuracy number per benchmark or category. We dive into the MCQA evaluation framework and conduct a systematic study spanning three benchmarks (MMAU, MMAR and MMSU) and four models: Audio Flamingo 2, Audio Flamingo 3, Qwen2.5-Omni-7B-Instruct, and Kimi-Audio-7B-Instruct. Our findings indicate that models are sensitive not only to the ordering of choices, but also to the paraphrasing of the question and the choices. Finally, we propose a simpler evaluation protocol and metric that account for subtle variations and provide a more detailed evaluation report of LALMs within the MCQA framework.

요약

MMAU, MMAR, MMSU 벤치마크와 Audio Flamingo 2/3, Qwen2.5-Omni-7B, Kimi-Audio-7B 등 4개 모델을 대상으로 대규모 오디오 언어 모델(LALM)의 객관식 평가(MCQA) 취약성을 체계적으로 분석한 연구로, 선택지 순서 변경·질문 패러프레이징만으로도 정확도가 크게 달라지고 텍스트만 입력한 LLM이 무작위 기준선을 최대 22.6%p 상회하는 언어 편향이 존재함을 밝혔다. 이를 해결하기 위해 다양한 변형에 걸쳐 모든 경우를 정확히 맞춰야만 정답으로 인정하는 정답률(CoR) 지표와 간소화된 평가 프로토콜을 제안하여 보다 신뢰성 있는 LALM 평가 체계를 제시한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2510.04584v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.