MS-HuBERT: Mitigating Pre-training and Inference Mismatch in Masked Language Modelling methods for learning Speech Representations
원문 초록
In recent years, self-supervised pre-training methods have gained significant traction in learning high-level information from raw speech. Among these methods, HuBERT has demonstrated SOTA performance in automatic speech recognition (ASR). However, HuBERT's performance lags behind data2vec due to disparities in pre-training strategies. In this paper, we propose (i) a Swap method to address pre-training and inference mismatch observed in HuBERT and (ii) incorporates Multicluster masked prediction loss for more effective utilization of the models capacity. The resulting method is, MS-HuBERT, an end-to-end self-supervised pre-training method for learning robust speech representations. It beats vanilla HuBERT on the ASR Librispeech benchmark on average by a 5% margin when evaluated on different finetuning splits. Additionally, we demonstrate that the learned embeddings obtained during pre-training encode essential information for improving performance of content based tasks such as ASR.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
CTC 오라클 갭의 해부: 음향 고갈과 언어적 회복
The Anatomy of the CTC Oracle Gap: Acoustic Exhaustion and Linguistic Recovery
우리는 N-best 가설 선택을 위한 CTC 내부 스코어링의 한계를 연구하고, 음향 신뢰도와 언어적 타당성을 가르는 정보 병목을 규명한다. 11가지 CTC 내부 및 음향 특징 스코어링 전략은 LibriSpeech dev-other에서 G=16일 때 탐욕 디코딩(greedy decoding) 대비 통계적으로 유의미한 WER 개선을 낳지 않는다(모든 p > 0.05). 이 고갈은 체계적이다: 가설 점수와 발화별 WER 간 CTC의 Spearman $ρ$는 G=4에서 -0.574에서 G=128에서 -0.270으로 악화되어, blank-path 확산으로 인한 53% 손실을 보인다. 이는 CTC 내부 표현의 판별 능력이 포화되었음을 보여준다: 음향 신호의 어떤 재결합도 오라클 갭을 메울 수 없다. 병목이 음향이 아니라 언어적임을 확인하기 위해, MBR 디코딩을 통해 도입된 외부 언어 정보가 이를 돌파한다. RoBERTa 의사로그가능도(pseudo-log-likelihood, PLL) 사후분포($τ$=10, G=128)를 사용한 MBR-CER 디코딩은 held-out LibriSpeech test-other에서 5.42% WER를 달성한다(탐욕 디코딩 5.96%, $Δ$=-0.535 pp, p<0.0001, 상대 9.0%). 동일 범위에서 RoBERTa PLL $ρ$는 21%만 악화되어, CTC가 판별력을 잃는 지점에서 판별력을 유지한다. 재튜닝 없이 두 Zipformer 아키텍처, 세 도메인(LibriSpeech, TED-LIUM 3, VoxPopuli), 네 MUSAN 노이즈 수준에 적용하면, 이 방법은 13개 조건 중 11개에서 유의미한 이득을 제공한다. 학습 측면에서, CTC forward-backward 알고리즘을 통한 표준 MWER 학습은 출력 투영(output projection)에서 Rao-Blackwellized REINFORCE를 구현하며(Viterbi 대비 분산 약 3배 낮음). 그러나 시퀀스 수준 미세조정은 거의 수렴한 체크포인트에서 실패한다: CR-CTC에서 네 MWER 구성 모두 붕괴(+6.18~+8.90 pp WER)하며, 0.007 pp의 학습 오라클 갭은 사용 가능한 보상 신호를 제공하지 못한다.
Transformer Based Punctuation Restoration for Turkish
Explainability of Speech Recognition Transformers via Gradient-based Attention Visualization
Building a Public Domain Voice Database for Odia
Automatic Speech Recognition in German: A Detailed Error Analysis
토론
이 논문과 연결된 포럼 글이 아직 없습니다.