음성 평가를 위한 대규모 오디오 언어 모델 심사자의 프로토콜 수준 쇼트컷 감사
Auditing Protocol-Level Shortcuts in Large Audio Language Model Judges for Speech Evaluation
대규모 오디오-언어 모델(LALM)은 음성 평가의 자동 심사자로 점점 더 많이 사용되고 있다. 그러나 인간 평가와의 높은 일치율이 그들의 판정이 오디오에 그라운딩(grounding)되어 있음을 보장하지는 않는다. 심사자는 대신 평가 프로토콜 자체가 제공하는 전문가 라벨이나 참조 데이터에 의존하여, 오디오를 듣는 대신 쇼트컷을 택할 수 있다. 본 논문에서는 세 가지 일반적인 배포 프로토콜—음향 특징의 구조화된 텍스트 설명으로 오디오를 대체하는 특징-블루프린트(feature-blueprint) 판정, 참조 조건(reference-conditioned) 판정, 쌍별 A/B 비교—에 걸쳐 LALM 심사자의 이러한 프로토콜 수준 '쇼트컷'을 감사한다. 여섯 개의 심사자와 네 가지 속성에 걸쳐, 여러 LALM이 프로토콜 수준 쇼트컷에 의존함을 확인한다. 예를 들어, 특징-블루프린트 판정에서 잘못된 전문가 라벨은 다섯 심사자의 감정 정확도를 0.10 이하로 낮추며, 연결된 A/B 비교에서 Qwen3-Omni-Thinking은 순서 교환과 관계없이 종종 동일한 슬롯을 선택한다. 이러한 결과는 집계 일치율이 LALM 심사자의 타당성을 과대평가할 수 있으며, 모델과 평가 프로토콜을 함께 평가해야 하고 각 모델-프로토콜 쌍은 대응하는 쇼트컷 프로브로 평가되어야 함을 시사한다.