arXiv:2301.02736

Using External Off-Policy Speech-To-Text Mappings in Contextual End-To-End Automated Speech Recognition

David M. Chan, Shalini Ghosh, Ariya Rastrow, Björn Hoffmeister

제출 2023-01-06

원문 초록

Despite improvements to the generalization performance of automated speech recognition (ASR) models, specializing ASR models for downstream tasks remains a challenging task, primarily due to reduced data availability (necessitating increased data collection), and rapidly shifting data distributions (requiring more frequent model fine-tuning). In this work, we investigate the potential of leveraging external knowledge, particularly through off-policy key-value stores generated with text-to-speech methods, to allow for flexible post-training adaptation to new data distributions. In our approach, audio embeddings captured from text-to-speech, along with semantic text embeddings, are used to bias ASR via an approximate k-nearest-neighbor (KNN) based attentive fusion step. Our experiments on LibiriSpeech and in-house voice assistant/search datasets show that the proposed approach can reduce domain adaptation time by up to 1K GPU-hours while providing up to 3% WER improvement compared to a fine-tuning baseline, suggesting a promising approach for adapting production ASR systems in challenging zero and few-shot scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21332v1cs.CL공통 태그 Speech Recognition, Domain Adaptation

저자원 언어 변종을 위한 음성학적 강제 정렬: 청두 만다린에서의 모델 학습 및 평가

Phonetic forced alignment for low-resource language varieties: Model training and evaluation on Chengdu Mandarin

음성학적 강제 정렬은 음성학 연구의 핵심 기법이지만, 기존 정렬 시스템에는 저자원 언어 변종을 위한 특화 모델이 부족하다. 본 연구는 17시간 규모의 말뭉치와 맞춤형 G2P(Graph-to-Phoneme) 사전을 사용하여 청두 만다린용 텍스트 의존형 및 텍스트 독립형 정렬기를 학습함으로써 이 문제를 해결한다. 텍스트 의존형 GMM-HMM 모델(Chengdu-MFA)을 학습했고, 텍스트 독립형 정렬(Chengdu-FC)을 위해 Chengdu-MFA의 의사 라벨(pseudo label)을 이용한 프레임 분류로 사전학습된 오디오 인코더를 파인튜닝했다. 전문가 주석이 달린 테스트 세트에 대한 평가 결과, 두 방법 모두 표준 만다린(Standard Mandarin) 기준선을 크게 능가하는 것으로 나타났다. Chengdu-MFA는 평균 음소 경계 차이를 31.8% 줄였고, Chengdu-FC는 61.2% 감소를 달성했다. 본 연구는 노동 및 시간이 많이 드는 수동 주석 없이도 자원이 부족한 언어 변종을 위한 정확한 정렬기를 개발할 수 있는 실용적인 부트스트래핑 파이프라인을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.