PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13477v1cs.SD

음성 평가를 위한 대규모 오디오 언어 모델 심사자의 프로토콜 수준 쇼트컷 감사

Auditing Protocol-Level Shortcuts in Large Audio Language Model Judges for Speech Evaluation

대규모 오디오-언어 모델(LALM)은 음성 평가의 자동 심사자로 점점 더 많이 사용되고 있다. 그러나 인간 평가와의 높은 일치율이 그들의 판정이 오디오에 그라운딩(grounding)되어 있음을 보장하지는 않는다. 심사자는 대신 평가 프로토콜 자체가 제공하는 전문가 라벨이나 참조 데이터에 의존하여, 오디오를 듣는 대신 쇼트컷을 택할 수 있다. 본 논문에서는 세 가지 일반적인 배포 프로토콜—음향 특징의 구조화된 텍스트 설명으로 오디오를 대체하는 특징-블루프린트(feature-blueprint) 판정, 참조 조건(reference-conditioned) 판정, 쌍별 A/B 비교—에 걸쳐 LALM 심사자의 이러한 프로토콜 수준 '쇼트컷'을 감사한다. 여섯 개의 심사자와 네 가지 속성에 걸쳐, 여러 LALM이 프로토콜 수준 쇼트컷에 의존함을 확인한다. 예를 들어, 특징-블루프린트 판정에서 잘못된 전문가 라벨은 다섯 심사자의 감정 정확도를 0.10 이하로 낮추며, 연결된 A/B 비교에서 Qwen3-Omni-Thinking은 순서 교환과 관계없이 종종 동일한 슬롯을 선택한다. 이러한 결과는 집계 일치율이 LALM 심사자의 타당성을 과대평가할 수 있으며, 모델과 평가 프로토콜을 함께 평가해야 하고 각 모델-프로토콜 쌍은 대응하는 쇼트컷 프로브로 평가되어야 함을 시사한다.

arXiv:2606.24648v1cs.SD

ParaPairAudioBench: Paralinguistic Pairwise Audio Benchmark for LALM-as-a-Judge

생성 음성 평가에서 운율·초언어(paralinguistic) 차이를 Style, Rate, Emphasis, Age, Gender 다섯 기준으로 나눈 5,175쌍 pairwise 벤치마크 ParaPairAudioBench를 제안한다. 실험 결과 현재 대형 오디오-언어 모델(LALM) 판별기는 인간 판단보다 평균 32%p 낮고 Tie에서 기권해야 할 때 보정(calibration) 실패가 크며, 동일·교차 전사 조건으로 어휘 대 음향 의존성도 분석한다.