기지 작업 오디오-LLM 평가를 위한 생성형 오디오 호출 감사
Auditing generative audio calls for known-task audio-llm evaluation
음성 및 오디오 대규모 언어 모델(LLM)은 파형(waveform) 기반 예측과 자동 음성 인식(ASR) 전사본 기반 예측을 비교하여 평가됩니다. 정해진 폐쇄형 집합(closed-set) 작업의 경우, 이러한 방식은 음향적 증거와 생성 오디오 모델 호출의 필요성을 혼동하게 만듭니다. 본 연구에서는 호출 전 증거를 공유하는 매칭된 선택기(matched selector)를 통해 증분 호출 가치(incremental call value)를 추정합니다. 각 정책은 전사본 레이블을 유지하거나, 로컬 인코더를 사용하거나, 생성 모델을 호출할 수 있습니다. 매칭된 대조군은 생성 동작을 배제하되 호출 전 증거 및 개발 선택은 보존합니다. VocalSound에서 전사본만 사용한 정확도는 0.296인 반면, 지도학습된 CLAP 및 WavLM 대조군은 호출 없이도 각각 0.850과 0.854에 도달합니다. 전체 선택기는 12.5%의 호출 비율에서 0.925에 도달하며, 이는 매칭된 무호출(No-call) 선택기의 0.921과 비교됩니다(차이 0.004, 95% CI [-0.025, 0.033]). 따라서 결과는 전사본 및 인코더 증거를 사용할 수 있게 된 이후에는 호출로 인한 이득이 나타나지 않음을 보여줍니다. 유의미한 수치는 파형과 전사본 간의 격차가 아니라 호출을 허용함으로써 얻는 증분 정확도입니다.