무엇이 오류인가? 비전형 ASR을 위한 이중 참조 벤치마킹
What Counts as an Error? Dual-Reference Benchmarking for Atypical ASR
비전형 음성(atypical speech) ASR 평가에서 축어적(verbatim) 전사와 의도된(intended) 전사라는 두 가지 유효한 참조 기준이 혼용되는 문제를 지적하며, 인코더-디코더·CTC·트랜스듀서 계열의 11개 ASR 모델을 말더듬 음성 데이터셋에서 두 참조 모두로 벤치마킹하였다. 정량 평가 결과 CTC 계열 모델은 축어적 전사에, 자기회귀 시퀀스-투-시퀀스 모델은 의도된 전사에 강점을 보임을 확인하였으며, 단일 참조 기반 평가가 모델 순위를 왜곡할 수 있음을 강조한다.