Afrispeech Semantics: 도메인 및 악센트에 따른 구어 언어 모델의 오디오 의미론적 추론 평가
Afrispeech Semantics: Evaluating Audio Semantic Reasoning in Spoken Language Models Across Domains and Accents
오디오 언어 모델(ALM)은 음성 기반 이해를 위해 점점 더 많이 사용되고 있으나, 전사, 텍스트-오디오 검색, 캡셔닝, 질의응답 정확도를 넘어선 의미론적 추론 능력은 아직 충분히 벤치마킹되지 않았습니다. 특히, 악센트 변이, 도메인 이동, 의미론적 과도 추론이 오디오 추론에 미치는 영향은 잘 이해되지 않고 있습니다. 본 연구에서는 5가지 의미론적 및 언어외적 추론 작업(함의, 일관성, 타당성, 악센트 드리프트, 악센트 제약)에 걸쳐 오디오 언어 모델을 평가합니다. 종합적으로 이러한 작업들은 구어 오디오를 주요 증거 원천으로 활용하여 추론하는 모델의 능력을 평가합니다. 여기에는 텍스트 가설이 오디오를 통해 추론 가능한지, 모순되는지, 아니면 미정 상태로 남는지, 진술이 구어 내용과 일치하는지 충돌하는지, 담화를 고려했을 때 주장이 타당한지, 그리고 악센트 변이에 따라 모델 예측이 안정적으로 유지되거나 적절하게 제약되는지 여부가 포함됩니다. 이러한 연구 결과는 현재 오디오 추론 평가의 중요한 한계를 강조하며, 더 견고하고 공정한 ALM 설계 및 평가를 위한 지침을 제공하는 것을 목표로 합니다.