arXiv:1704.01631

Multitask Learning with Low-Level Auxiliary Tasks for Encoder-Decoder Based Speech Recognition

Shubham Toshniwal, Hao Tang, Liang Lu, Karen Livescu

제출 2017-04-05

원문 초록

End-to-end training of deep learning-based models allows for implicit learning of intermediate representations based on the final task loss. However, the end-to-end approach ignores the useful domain knowledge encoded in explicit intermediate-level supervision. We hypothesize that using intermediate representations as auxiliary supervision at lower levels of deep networks may be a good way of combining the advantages of end-to-end training and more traditional pipeline approaches. We present experiments on conversational speech recognition where we use lower-level tasks, such as phoneme recognition, in a multitask training approach with an encoder-decoder model for direct character transcription. We compare multiple types of lower-level tasks and analyze the effects of the auxiliary tasks. Our results on the Switchboard corpus show that this approach improves recognition accuracy over a standard encoder-decoder model on the Eval2000 test set.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09598v2cs.CL공통 태그 speech-recognition, Speech Recognition, Decoder

토크나이저 이식: 엣지 효율적 벵골어 ASR에서의 자기회귀 붕괴 완화

Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR

경량 음성 인식 모델은 엣지 배포에 필수적이지만, Moonshine과 같이 고도로 최적화된 아키텍처는 벵골어와 같이 형태론적으로 풍부한 비라틴 언어에서 종종 실패한다. 본 연구는 이 실패의 근본 원인을 모델의 영어 중심 바이트 수준 토크나이저로 규명한다. 해당 토크나이저는 벵골어 단어를 고분기율(high-fertility) 바이트 체인으로 분절하여 추론 중 치명적인 자기회귀 붕괴(autoregressive collapse)를 유발한다. 이를 해결하기 위해, 디코더 어휘를 네이티브 스크립트 BanglaBERT WordPiece 어휘로 교체하고 대응하는 토큰 임베딩 행렬의 크기를 재조정하는 새로운 어휘 이식(vocabulary transplantation) 파이프라인을 제안한다. 실험 결과, 토큰 분기율이 9.16에서 1.30으로 감소하였다. 자기회귀 시퀀스 길이를 85.8% 단축함으로써 디코딩 불안정성이 완전히 해소되었다. 882시간 규모의 Lipi-Ghor 데이터셋으로 평가한 결과, 수정된 아키텍처는 경쟁력 있는 21.54%의 단어 오류율(WER)과 0.0053의 실시간 인수(RTF)를 달성하였다. 궁극적으로 본 연구는 자원 집약적인 사전학습 없이 경량 ASR 모델의 교차 스크립트 적응을 위한 확장 가능하고 재현 가능한 청사진을 제공한다.

arXiv:2607.05612v1cs.CL공통 태그 speech-recognition, Speech Recognition, Decoder

현대 엔드-투-엔드 음성 인식에서 언어 모델 퍼플렉시티와 ASR 단어 오류율 간의 관계 재고

Revisiting the Relation Between Language Model Perplexity and ASR Word Error Rate for Modern End-to-End Speech Recognition

언어 모델(LM) 퍼플렉시티(PPL)는 역사적으로 자동 음성 인식(ASR) 단어 오류율(WER)의 대리 지표로 사용되어 왔으며, 선행 연구에서는 로그-로그 공간에서 대략 선형 관계를 보고하였다. 현대 엔드-투-엔드 ASR 시스템은 이미 내부 언어 모델링 능력을 갖추고 있고, 외부 언어 모델 없이 평가되는 경우가 많으며, 다양한 인식 전략을 통해 신경망 LM 및 대규모 언어 모델(LLM)과 결합될 수 있어 이러한 가정에 의문을 제기한다. 본 논문은 현대 ASR 시스템에서 PPL과 WER 간의 관계를 재고한다. 외부 LM이 현재 엔드-투-엔드 ASR 시스템을 여전히 개선하는지, PPL-WER 관계가 로그-로그 공간에서 선형성을 유지하는지, 인코더 컨텍스트 길이가 이 관계에 어떤 영향을 미치는지, 그리고 LLM 퍼플렉시티가 표준 신경망 LM에서 관찰된 경향에 어떻게 부합하는지를 연구한다. 또한 어텐션 기반 인코더-디코더 시스템에서의 내부 언어 모델링(ILM)을 조사하고, ILM 차감이 관찰된 PPL-WER 관계를 변화시킴을 보임으로써, 외부 LM 품질의 영향을 해석할 때 디코더의 내부 LM을 반드시 고려해야 함을 밝힌다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.