Continual Learning for On-Device Speech Recognition using Disentangled Conformers
원문 초록
Automatic speech recognition research focuses on training and evaluating on static datasets. Yet, as speech models are increasingly deployed on personal devices, such models encounter user-specific distributional shifts. To simulate this real-world scenario, we introduce LibriContinual, a continual learning benchmark for speaker-specific domain adaptation derived from LibriVox audiobooks, with data corresponding to 118 individual speakers and 6 train splits per speaker of different sizes. Additionally, current speech recognition models and continual learning algorithms are not optimized to be compute-efficient. We adapt a general-purpose training algorithm NetAug for ASR and create a novel Conformer variant called the DisConformer (Disentangled Conformer). This algorithm produces ASR models consisting of a frozen 'core' network for general-purpose use and several tunable 'augment' networks for speaker-specific tuning. Using such models, we propose a novel compute-efficient continual learning algorithm called DisentangledCL. Our experiments show that the DisConformer models significantly outperform baselines on general ASR i.e. LibriSpeech (15.58% rel. WER on test-other). On speaker-specific LibriContinual they significantly outperform trainable-parameter-matched baselines (by 20.65% rel. WER on test) and even match fully finetuned baselines in some settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
통합 그래디언트 투영: 다국어 저자원 ASR을 위한 언어 균형 지속 학습
Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR
Whisper와 같은 대규모 사전학습 자동 음성 인식(ASR) 모델은 강력한 다국어 능력을 보인다. 그러나 저자원 언어에 대한 미세조정은 파국적 망각을 유발하는 경우가 많다. 지속 학습이 이 문제를 완화하지만, 기존 방법들은 지배적 언어가 최적화에 바이어스를 주는 다국어 환경에서 태스크 간 간섭을 조절하는 데 어려움을 겪는다. 우리는 통합 투영 공간에서 언어 균형 리플레이로부터의 참조 그래디언트를 사용하여 매개변수 업데이트를 제약하는 통합 그래디언트 투영(UGP)을 제안한다. 투영에서 언어별 기여를 균등화함으로써 UGP는 지배적 언어 바이어스를 줄이고 교차 언어 안정성을 향상시킨다. 나아가 그래디언트 수준의 투영과 데이터 수준의 리플레이를 결합하면 안정성과 가소성 측면에서 상호 보완적인 이점을 얻을 수 있음을 보인다. 다양한 저자원 언어 그룹과 모델 규모에 걸쳐 UGP는 효과적인 적응을 가능하게 하면서 망각을 크게 완화한다. Whisper-large-v3에서는 평균 망각이 거의 0에 가까운 수준을 달성한다.
Transformer Based Punctuation Restoration for Turkish
Explainability of Speech Recognition Transformers via Gradient-based Attention Visualization
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Building a Public Domain Voice Database for Odia
Automatic Speech Recognition in German: A Detailed Error Analysis
토론
이 논문과 연결된 포럼 글이 아직 없습니다.