무엇이 오류인가? 비전형 ASR을 위한 이중 참조 벤치마킹
What Counts as an Error? Dual-Reference Benchmarking for Atypical ASR
한국어 초록
ASR 시스템은 비전형(atypical) 음성에서 성능이 저하된다는 보고가 많다. 혼동을 일으키는 복합적 요인으로, 비전형 음성 인식에서는 문맥과 사용 목적에 따라 두 가지 유효한 전사(transcription) 참조가 존재한다: 축어적(verbatim) 참조(반복·연장 등 실제 발화 그대로)와 의도된(intended) 참조(비유창성이 제거된 정규 형태)가 그것이다. 대부분의 ASR 평가는 이 이중성을 단일 정답으로 통합하여, 비유창성을 삭제하는 시스템에 보상을 부여하고 축어적 충실도는 무시한다. 우리는 인코더-디코더, CTC, 트랜스듀서(transducer) 계열에서 총 11개의 ASR 모델을 대상으로, 비전형 말더듬(stuttered) 음성을 사례 연구로 삼아 축어적 참조와 의도된 참조 모두를 사용하여 벤치마킹하였다. 정량적 평가를 통해 두 전사 방식에 따른 모델 성능 및 순위의 격차를 확인하였다. 이 분석을 통해, 사용 목적에 따른 유효한 모델 선택을 위해 적절한 전사 참조를 선택하는 것이 중요함을, 특히 비전형 ASR에서 강조한다.
원문 초록
ASR systems have been often reported to underperform on atypical speech. An often conflated compounding factor is the existence of two valid transcription references: verbatim (actual produced speech, including repetitions/prolongations) and intended (the canonical form of the text with disfluencies removed) in atypical speech recognition depending on context and use-case. Most ASR evaluations conflate this duality into a single ground truth and reward systems that delete disfluencies, ignoring verbatim faithfulness. We benchmark 11 ASR models from encoder-decoder, CTC and transducer families using both verbatim and intended references on atypical stuttered speech as a case study. Our quantitative assessment underlines the disparity in model performance and rankings using the two transcript styles. Through this analysis, we highlight the importance of selecting a suitable transcription reference for valid model selection depending on the use-case, particularly for atypical ASR.
요약
비전형 음성(atypical speech) ASR 평가에서 축어적(verbatim) 전사와 의도된(intended) 전사라는 두 가지 유효한 참조 기준이 혼용되는 문제를 지적하며, 인코더-디코더·CTC·트랜스듀서 계열의 11개 ASR 모델을 말더듬 음성 데이터셋에서 두 참조 모두로 벤치마킹하였다. 정량 평가 결과 CTC 계열 모델은 축어적 전사에, 자기회귀 시퀀스-투-시퀀스 모델은 의도된 전사에 강점을 보임을 확인하였으며, 단일 참조 기반 평가가 모델 순위를 왜곡할 수 있음을 강조한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.31112v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Transformer Based Punctuation Restoration for Turkish
Explainability of Speech Recognition Transformers via Gradient-based Attention Visualization
Evaluating Variants of wav2vec 2.0 on Affective Vocal Burst Tasks
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Building a Public Domain Voice Database for Odia
Automatic Speech Recognition in German: A Detailed Error Analysis
토론
이 논문과 연결된 포럼 글이 아직 없습니다.