Unsupervised Data Selection via Discrete Speech Representation for ASR
원문 초록
Self-supervised learning of speech representations has achieved impressive results in improving automatic speech recognition (ASR). In this paper, we show that data selection is important for self-supervised learning. We propose a simple and effective unsupervised data selection method which selects acoustically similar speech to a target domain. It takes the discrete speech representation available in common self-supervised learning frameworks as input, and applies a contrastive data selection method on the discrete tokens. Through extensive empirical studies we show that our proposed method reduces the amount of required pre-training data and improves the downstream ASR performance. Pre-training on a selected subset of 6% of the general data pool results in 11.8% relative improvements in LibriSpeech test-other compared to pre-training on the full set. On Multilingual LibriSpeech French, German, and Spanish test sets, selecting 6% data for pre-training reduces word error rate by more than 15% relatively compared to the full set, and achieves competitive results compared to current state-of-the-art performances.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GigaAM Multilingual: 저자원 언어를 위한 파운데이션 모델
GigaAM Multilingual: Foundation Model for Underrepresented Languages
최근의 스케일링 성공에도 불구하고, 다국어 자동 음성 인식(ASR) 성능은 여전히 매우 불균등하며, 롱테일 언어들은 심각한 데이터 부족 문제를 겪고 있다. 본 연구는 저자원 중앙아시아 언어(카자흐어, 키르기스어, 우즈베크어)를 위한 강건한 파운데이션 모델 구축의 과제를 다룬다. 우리는 HuBERT 방식의 목표 함수를 사용하여 200만 시간의 오디오로 사전학습된 Conformer 인코더인 GigaAM Multilingual을 제안한다. 핵심적으로, 고자원 언어 편향을 완화하기 위해 사전학습 단계에서 클러스터 수준의 데이터 균형 전략을, 미세조정 단계에서 도메인 인식 샘플링 방법을 도입한다. 통제된 비교 실험에서, 우리의 접근법은 타겟 언어에 대해 강력한 공개 사전학습 인코더(Whisper Large v3, Omnilingual-1B)를 능가하며, 효율성을 유지하면서 자발화에서 상당한 성능 향상을 달성한다. 우리는 파운데이션 인코더와 ASR 모델을 공개하여, 현실적인 데이터 불균형 환경에서의 효과적인 다국어 적응을 위한 검증된 레시피를 제공한다.
Transformer Based Punctuation Restoration for Turkish
Explainability of Speech Recognition Transformers via Gradient-based Attention Visualization
Evaluating Variants of wav2vec 2.0 on Affective Vocal Burst Tasks
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Building a Public Domain Voice Database for Odia
토론
이 논문과 연결된 포럼 글이 아직 없습니다.