RW-Voice-EQ Bench: 음성 AI 시스템 평가를 위한 실세계 벤치마크
RW-Voice-EQ Bench: A Real World Benchmark for Evaluating Voice AI Systems
현재 음성 AI 벤치마크는 일반적으로 음성 명료도(speech intelligibility), 단어 오류율(word error rate), 또는 텍스트 기반 대화 품질과 같은 개별 역량을 평가하지만, 시스템이 구어와 그 텍스트 표현을 구별하는 음향 정보를 활용하는지 여부는 거의 검증하지 않는다. 이를 위해 우리는 텍스트 음성 변환(TTS), 음성-음성(STS), 음성 이해(SU), 음성 인식(ASR)에 걸친 음성 AI를 평가하는 다차원 벤치마크인 Real World Voice EQ Bench를 제안한다. 우리의 평가는 성능이 차원별로 매우 다르다는 것을 보여준다. TTS의 경우 자연스러움, 표현력, 화자 정체성 안정성(identity stability), 신뢰성은 대체로 독립적인 평가 차원이다. STS의 경우 오디오 접근이 보컬 정서(vocal affect)의 활용을 보장하지 않으며, 일부 에이전트는 여전히 대체로 전사(transcript) 중심으로 동작한다. SU의 경우 모델은 초언어적(paralinguistic) 태스크에서 고르지 않은 성능을 보인다. ASR의 경우 실세계 억양, 감정, 노이즈, 대화 조건이 기존 클린 스피치(clean-speech) 벤치마크가 포착하지 못하는 오류를 드러낸다. 종합하면, 이러한 결과는 음성 AI를 단일 종합 점수가 아니라 음향적, 표현적, 상호작용적, 견고성(robustness) 역량의 프로필로 평가해야 함을 보여준다.