Improving Accent Identification and Accented Speech Recognition Under a Framework of Self-supervised Learning
원문 초록
Recently, self-supervised pre-training has gained success in automatic speech recognition (ASR). However, considering the difference between speech accents in real scenarios, how to identify accents and use accent features to improve ASR is still challenging. In this paper, we employ the self-supervised pre-training method for both accent identification and accented speech recognition tasks. For the former task, a standard deviation constraint loss (SDC-loss) based end-to-end (E2E) architecture is proposed to identify accents under the same language. As for accented speech recognition task, we design an accent-dependent ASR system, which can utilize additional accent input features. Furthermore, we propose a frame-level accent feature, which is extracted based on the proposed accent identification model and can be dynamically adjusted. We pre-train our models using 960 hours unlabeled LibriSpeech dataset and fine-tune them on AESRC2020 speech dataset. The experimental results show that our proposed accent-dependent ASR system is significantly ahead of the AESRC2020 baseline and achieves $6.5\%$ relative word error rate (WER) reduction compared with our accent-independent ASR system.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Coupled Training of Sequence-to-Sequence Models for Accented Speech Recognition
GigaAM Multilingual: 저자원 언어를 위한 파운데이션 모델
GigaAM Multilingual: Foundation Model for Underrepresented Languages
최근의 스케일링 성공에도 불구하고, 다국어 자동 음성 인식(ASR) 성능은 여전히 매우 불균등하며, 롱테일 언어들은 심각한 데이터 부족 문제를 겪고 있다. 본 연구는 저자원 중앙아시아 언어(카자흐어, 키르기스어, 우즈베크어)를 위한 강건한 파운데이션 모델 구축의 과제를 다룬다. 우리는 HuBERT 방식의 목표 함수를 사용하여 200만 시간의 오디오로 사전학습된 Conformer 인코더인 GigaAM Multilingual을 제안한다. 핵심적으로, 고자원 언어 편향을 완화하기 위해 사전학습 단계에서 클러스터 수준의 데이터 균형 전략을, 미세조정 단계에서 도메인 인식 샘플링 방법을 도입한다. 통제된 비교 실험에서, 우리의 접근법은 타겟 언어에 대해 강력한 공개 사전학습 인코더(Whisper Large v3, Omnilingual-1B)를 능가하며, 효율성을 유지하면서 자발화에서 상당한 성능 향상을 달성한다. 우리는 파운데이션 인코더와 ASR 모델을 공개하여, 현실적인 데이터 불균형 환경에서의 효과적인 다국어 적응을 위한 검증된 레시피를 제공한다.
Transformer Based Punctuation Restoration for Turkish
Explainability of Speech Recognition Transformers via Gradient-based Attention Visualization
Evaluating Variants of wav2vec 2.0 on Affective Vocal Burst Tasks
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
토론
이 논문과 연결된 포럼 글이 아직 없습니다.