arXiv:2109.07327

Improving Streaming Transformer Based ASR Under a Framework of Self-supervised Learning

Songjun Cao, Yueteng Kang, Yanzhe Fu, Xiaoshuo Xu, Sining Sun, Yike Zhang, Long Ma

제출 2021-09-15

원문 초록

Recently self-supervised learning has emerged as an effective approach to improve the performance of automatic speech recognition (ASR). Under such a framework, the neural network is usually pre-trained with massive unlabeled data and then fine-tuned with limited labeled data. However, the non-streaming architecture like bidirectional transformer is usually adopted by the neural network to achieve competitive results, which can not be used in streaming scenarios. In this paper, we mainly focus on improving the performance of streaming transformer under the self-supervised learning framework. Specifically, we propose a novel two-stage training method during fine-tuning, which combines knowledge distilling and self-training. The proposed training method achieves 16.3% relative word error rate (WER) reduction on Librispeech noisy test set. Finally, by only using the 100h clean subset of Librispeech as the labeled data and the rest (860h) as the unlabeled data, our streaming transformer based model obtains competitive WERs 3.5/8.7 on Librispeech clean/noisy test sets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10371v1eess.AS공통 태그 Self-Supervised Learning, speech-recognition, Speech Recognition, Automatic Speech Recognition

GigaAM Multilingual: 저자원 언어를 위한 파운데이션 모델

GigaAM Multilingual: Foundation Model for Underrepresented Languages

최근의 스케일링 성공에도 불구하고, 다국어 자동 음성 인식(ASR) 성능은 여전히 매우 불균등하며, 롱테일 언어들은 심각한 데이터 부족 문제를 겪고 있다. 본 연구는 저자원 중앙아시아 언어(카자흐어, 키르기스어, 우즈베크어)를 위한 강건한 파운데이션 모델 구축의 과제를 다룬다. 우리는 HuBERT 방식의 목표 함수를 사용하여 200만 시간의 오디오로 사전학습된 Conformer 인코더인 GigaAM Multilingual을 제안한다. 핵심적으로, 고자원 언어 편향을 완화하기 위해 사전학습 단계에서 클러스터 수준의 데이터 균형 전략을, 미세조정 단계에서 도메인 인식 샘플링 방법을 도입한다. 통제된 비교 실험에서, 우리의 접근법은 타겟 언어에 대해 강력한 공개 사전학습 인코더(Whisper Large v3, Omnilingual-1B)를 능가하며, 효율성을 유지하면서 자발화에서 상당한 성능 향상을 달성한다. 우리는 파운데이션 인코더와 ASR 모델을 공개하여, 현실적인 데이터 불균형 환경에서의 효과적인 다국어 적응을 위한 검증된 레시피를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.