arXiv:2309.16060

Does Single-channel Speech Enhancement Improve Keyword Spotting Accuracy? A Case Study

Avamarie Brueggeman, Takuya Higuchi, Masood Delfarah, Stephen Shum, Vineet Garg

제출 2023-09-27

원문 초록

Noise robustness is a key aspect of successful speech applications. Speech enhancement (SE) has been investigated to improve automatic speech recognition accuracy; however, its effectiveness for keyword spotting (KWS) is still under-investigated. In this paper, we conduct a comprehensive study on single-channel speech enhancement for keyword spotting on the Google Speech Command (GSC) dataset. To investigate robustness to noise, the GSC dataset is augmented with noise signals from the WSJ0 Hipster Ambient Mixtures (WHAM!) noise dataset. Our investigation includes not only applying SE before KWS but also performing joint training of the SE frontend and KWS backend models. Moreover, we explore audio injection, a common approach to reduce distortions by using a weighted average of the enhanced and original signals. Audio injection is then further optimized by using another model that predicts the weight for each utterance. Our investigation reveals that SE can improve KWS accuracy on noisy speech when the backend model is trained on clean speech; however, despite our extensive exploration, it is difficult to improve the KWS accuracy with SE when the backend is trained on noisy speech.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.30237v2cs.CL공통 태그 speech-recognition, Speech Recognition, Automatic Speech Recognition

네덜란드어 구음장애 연속 발화에 대한 인간과 자동 인식 비교: 사례 연구

Comparing Human and Automatic Recognition of Dutch Dysarthric Continuous Speech: A Case Study

개인화된 구음장애 음성 인식(DSR) 모델 개발을 목표로, 본 연구에서는 중증 구음장애를 가진 단일 화자의 네덜란드어 연속 낭독 발화 및 자발화에 대해 인간 청취자와 세 가지 최신 범용 자동 음성 인식(ASR) 시스템(Whisper-large-V3, Google Chirp 3, Omnilingual)의 인식 성능을 비교하였다. 결과에 따르면 인간 청취자와 세 가지 범용 ASR 시스템 모두 평균 단어 오류율(WER)이 70%를 초과하여, DSR이 인간과 ASR 시스템 모두에게 매우 어려운 과제임을 보여준다. 구음장애 발화에 대한 미세조정은 WER을 크게 감소시켰다. 전체 WER이 여전히 상당히 높지만(>23%), 개인화된 DSR 모델은 인간 청취자를 능가하였으며, 구음장애 화자의 일상 의사소통 지원에 활용 가능한 수준에 점차 가까워지고 있다. 향후 연구는 자발화에서의 개인화 DSR 성능 향상과 낭독 발화에서의 긴 발화 처리에 집중해야 하며, 특정 음소에 대한 심층적인 분석이 필요하다.

arXiv:2607.09598v2cs.CL공통 태그 speech-recognition, Speech Recognition, Automatic Speech Recognition

토크나이저 이식: 엣지 효율적 벵골어 ASR에서의 자기회귀 붕괴 완화

Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR

경량 음성 인식 모델은 엣지 배포에 필수적이지만, Moonshine과 같이 고도로 최적화된 아키텍처는 벵골어와 같이 형태론적으로 풍부한 비라틴 언어에서 종종 실패한다. 본 연구는 이 실패의 근본 원인을 모델의 영어 중심 바이트 수준 토크나이저로 규명한다. 해당 토크나이저는 벵골어 단어를 고분기율(high-fertility) 바이트 체인으로 분절하여 추론 중 치명적인 자기회귀 붕괴(autoregressive collapse)를 유발한다. 이를 해결하기 위해, 디코더 어휘를 네이티브 스크립트 BanglaBERT WordPiece 어휘로 교체하고 대응하는 토큰 임베딩 행렬의 크기를 재조정하는 새로운 어휘 이식(vocabulary transplantation) 파이프라인을 제안한다. 실험 결과, 토큰 분기율이 9.16에서 1.30으로 감소하였다. 자기회귀 시퀀스 길이를 85.8% 단축함으로써 디코딩 불안정성이 완전히 해소되었다. 882시간 규모의 Lipi-Ghor 데이터셋으로 평가한 결과, 수정된 아키텍처는 경쟁력 있는 21.54%의 단어 오류율(WER)과 0.0053의 실시간 인수(RTF)를 달성하였다. 궁극적으로 본 연구는 자원 집약적인 사전학습 없이 경량 ASR 모델의 교차 스크립트 적응을 위한 확장 가능하고 재현 가능한 청사진을 제공한다.

arXiv:2607.08208v2cs.CL공통 태그 speech-recognition, Speech Recognition, Automatic Speech Recognition

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2601.14046v2cs.CL공통 태그 speech-recognition, Speech Recognition, Automatic Speech Recognition

PRiSM: 음성 모델의 음소 실현 벤치마킹

PRiSM: Benchmarking Phone Realization in Speech Models

음소 인식(Phone Recognition, PR)은 교차 언어 음성 처리 및 음성학적 분석을 위한 언어 독립적 모델링의 원자적 인터페이스 역할을 한다. PR 시스템 개발에 오랜 노력이 기울여졌음에도 불구하고, 현재의 평가는 표면적인 전사 정확도만을 측정한다. 우리는 PRiSM을 소개한다. 이는 PR 시스템의 내재적 및 외재적 평가를 통해 음성 지각의 맹점을 드러내도록 설계된 최초의 오픈소스 벤치마크이다. PRiSM은 전사 기반 평가를 표준화하고, 전사 및 표현 탐침(representation probe)을 통해 임상, 교육, 다국어 환경에서의 다운스트림 활용성을 평가한다. 우리는 학습 중 다양한 언어 노출이 PR 성능의 핵심임을 발견하였으며, 인코더-CTC 모델이 가장 안정적이고, 특화된 PR 모델이 대규모 오디오 언어 모델보다 여전히 우수한 성능을 보임을 확인하였다. PRiSM은 강건한 음성학적 능력을 갖춘 다국어 음성 모델을 향해 분야가 나아갈 수 있도록 코드, 레시피, 데이터셋을 공개한다: https://github.com/changelinglab/prism.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.