arXiv:2002.00750

Joint Contextual Modeling for ASR Correction and Language Understanding

Yue Weng, Sai Sumanth Miryala, Chandra Khatri, Runze Wang, Huaixiu Zheng, Piero Molino, Mahdi Namazifar, Alexandros Papangelis, Hugh Williams, Franziska Bell, Gokhan Tur

제출 2020-01-28

원문 초록

The quality of automatic speech recognition (ASR) is critical to Dialogue Systems as ASR errors propagate to and directly impact downstream tasks such as language understanding (LU). In this paper, we propose multi-task neural approaches to perform contextual language correction on ASR outputs jointly with LU to improve the performance of both tasks simultaneously. To measure the effectiveness of this approach we used a public benchmark, the 2nd Dialogue State Tracking (DSTC2) corpus. As a baseline approach, we trained task-specific Statistical Language Models (SLM) and fine-tuned state-of-the-art Generalized Pre-training (GPT) Language Model to re-rank the n-best ASR hypotheses, followed by a model to identify the dialog act and slots. i) We further trained ranker models using GPT and Hierarchical CNN-RNN models with discriminatory losses to detect the best output given n-best hypotheses. We extended these ranker models to first select the best ASR output and then identify the dialogue act and slots in an end to end fashion. ii) We also proposed a novel joint ASR error correction and LU model, a word confusion pointer network (WCN-Ptr) with multi-head self-attention on top, which consumes the word confusions populated from the n-best. We show that the error rates of off the shelf ASR and following LU systems can be reduced significantly by 14% relative with joint models trained using small amounts of in-domain data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.23306v1cs.CL공통 태그 Language Modelling, Speech Recognition, Automatic Speech Recognition

CTC 오라클 갭의 해부: 음향 고갈과 언어적 회복

The Anatomy of the CTC Oracle Gap: Acoustic Exhaustion and Linguistic Recovery

우리는 N-best 가설 선택을 위한 CTC 내부 스코어링의 한계를 연구하고, 음향 신뢰도와 언어적 타당성을 가르는 정보 병목을 규명한다. 11가지 CTC 내부 및 음향 특징 스코어링 전략은 LibriSpeech dev-other에서 G=16일 때 탐욕 디코딩(greedy decoding) 대비 통계적으로 유의미한 WER 개선을 낳지 않는다(모든 p > 0.05). 이 고갈은 체계적이다: 가설 점수와 발화별 WER 간 CTC의 Spearman $ρ$는 G=4에서 -0.574에서 G=128에서 -0.270으로 악화되어, blank-path 확산으로 인한 53% 손실을 보인다. 이는 CTC 내부 표현의 판별 능력이 포화되었음을 보여준다: 음향 신호의 어떤 재결합도 오라클 갭을 메울 수 없다. 병목이 음향이 아니라 언어적임을 확인하기 위해, MBR 디코딩을 통해 도입된 외부 언어 정보가 이를 돌파한다. RoBERTa 의사로그가능도(pseudo-log-likelihood, PLL) 사후분포($τ$=10, G=128)를 사용한 MBR-CER 디코딩은 held-out LibriSpeech test-other에서 5.42% WER를 달성한다(탐욕 디코딩 5.96%, $Δ$=-0.535 pp, p<0.0001, 상대 9.0%). 동일 범위에서 RoBERTa PLL $ρ$는 21%만 악화되어, CTC가 판별력을 잃는 지점에서 판별력을 유지한다. 재튜닝 없이 두 Zipformer 아키텍처, 세 도메인(LibriSpeech, TED-LIUM 3, VoxPopuli), 네 MUSAN 노이즈 수준에 적용하면, 이 방법은 13개 조건 중 11개에서 유의미한 이득을 제공한다. 학습 측면에서, CTC forward-backward 알고리즘을 통한 표준 MWER 학습은 출력 투영(output projection)에서 Rao-Blackwellized REINFORCE를 구현하며(Viterbi 대비 분산 약 3배 낮음). 그러나 시퀀스 수준 미세조정은 거의 수렴한 체크포인트에서 실패한다: CR-CTC에서 네 MWER 구성 모두 붕괴(+6.18~+8.90 pp WER)하며, 0.007 pp의 학습 오라클 갭은 사용 가능한 보상 신호를 제공하지 못한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.