arXiv:2611.00325v1 cs.SD

하나의 파형, 두 개의 이야기: 오디오-언어 모델의 음성-음향 충돌 벤치마킹

One Waveform, Two Stories: Benchmarking Speech-Acoustic Conflict in Audio-Language Models

Wenbin Wang, Yuheng Li, Koichiro Yoshino

제출 2026-11-03

한국어 초록

오디오-언어 모델(ALM)은 음성과 환경음 모두에 대한 이해 능력을 기준으로 평가된다. 그러나 동일한 녹음 안에서 발화된 주장이 음향적 증거와 모순될 때 모델이 어떻게 반응하는지는 아직 충분히 탐구되지 않았다. 우리는 일곱 가지 의미적, 시간적, 공간적 과제에 걸쳐 188개 음향 이벤트 클래스에서 추출한 616,031개의 고유 클립으로 구성된 오디오 내 음성-음향 충돌 벤치마크 SAC-Bench를 소개한다. 이 벤치마크는 환경 녹음을 양립 가능하거나 모순되는 합성 음성 주장과 짝지으며, 해당되는 경우 오디오 전용 통제 조건을 포함한다. 의미적 및 시간적 과제에서 평가한 다섯 개의 오픈 웨이트 ALM 전반에서, 높은 오디오 전용 정확도가 충돌하는 주장 하에서의 큰 성능 하락과 공존하는 경우가 많다. 이벤트 정체성(Event Identity) 정확도는 충돌 조건에서 양립 조건보다 24.8~46.5퍼센트포인트 낮다. 시간 순서(Temporal Order) 실패는 음성이 전체 이벤트 시퀀스 뒤에 이어질 때에도 지속되므로, 음성과 이벤트의 동시 마스킹만으로는 이를 완전히 설명할 수 없다. Spatial-Omni를 이용한 공간 사례 연구에서는 움직임 정확도 저하가 발화된 주장과 음성 소스의 물리적 궤적 모두와 연관됨을 확인하였다. 프롬프트 개입은 때때로 음향 정확도를 회복시키지만, 근거 확보(grounding)의 개선 없이 주장에 부합하는 응답만 줄이거나 성능을 악화시키기도 한다. 이처럼 SAC-Bench는 음향 능력, 충돌 강건성, 개입 효과를 구분하여 보여준다.

원문 초록

Audio-language models (ALMs) are evaluated on their understanding of both speech and environmental sounds. What remains underexplored is how they respond when spoken claims contradict acoustic evidence within the same recording. We introduce SAC-Bench, a benchmark of intra-audio speech--acoustic conflict comprising 616,031 unique clips from 188 sound-event classes across seven semantic, temporal, and spatial tasks. It pairs environmental recordings with compatible or contradictory synthesized spoken claims and includes audio-only controls where applicable. Across five open-weight ALMs evaluated on semantic and temporal tasks, high audio-only accuracy often coexists with large losses under conflicting claims; Event Identity accuracy is 24.8--46.5 percentage points lower in conflict than compatible conditions. Temporal Order failures persist even when speech follows the complete event sequence, so simultaneous speech--event masking cannot fully explain them. A spatial case study with Spatial-Omni finds lower motion accuracy associated with both spoken claims and the speech source's physical trajectory. Prompt interventions sometimes restore acoustic accuracy, but can also reduce claim-aligned answers without improving grounding or worsen performance. SAC-Bench thus separates acoustic competence, conflict robustness, and intervention effects.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.00325v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.