Hard-Synth: Synthesizing Diverse Hard Samples for ASR using Zero-Shot TTS and LLM
원문 초록
Text-to-speech (TTS) models have been widely adopted to enhance automatic speech recognition (ASR) systems using text-only corpora, thereby reducing the cost of labeling real speech data. Existing research primarily utilizes additional text data and predefined speech styles supported by TTS models. In this paper, we propose Hard-Synth, a novel ASR data augmentation method that leverages large language models (LLMs) and advanced zero-shot TTS. Our approach employs LLMs to generate diverse in-domain text through rewriting, without relying on additional text data. Rather than using predefined speech styles, we introduce a hard prompt selection method with zero-shot TTS to clone speech styles that the ASR model finds challenging to recognize. Experiments demonstrate that Hard-Synth significantly enhances the Conformer model, achieving relative word error rate (WER) reductions of 6.5\%/4.4\% on LibriSpeech dev/test-other subsets. Additionally, we show that Hard-Synth is data-efficient and capable of reducing bias in ASR.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
브라질 포르투갈어의 운율 경계 분절을 위한 트랜스포머 기반 접근법
Transformer-based segmentation of prosodic boundaries in Brazilian Portuguese
자동 운율 분절(automatic prosodic segmentation)은 음향 및 언어적 증거로부터 발화 단위 간의 경계를 식별한다. 최근 심층 학습 접근법이 영어에서 강력한 성능을 보이고 있으나, 브라질 포르투갈어(BP)의 자동 분절은 여전히 대부분 규칙 기반 또는 전통적인 기계 학습 방법에 의존하고 있다. 본 논문에서는 SAMPA를 제안한다. SAMPA는 Whisper 기반 분절기로, 브라질 포르투갈어 음성을 전사하면서 종결 운율 경계에 대한 명시적 마커를 삽입한다. NURC-SP 데이터셋의 수동 분절 녹음 데이터로 Whisper large-v3를 파인튜닝하고, MuPe-Diversidades 데이터셋에 대한 분포 외(out-of-distribution) 테스트를 포함하여 다양한 학습 및 테스트 시간 필터링 구성을 평가한다. SAMPA는 다양한 설정에서 경쟁력 있는 경계 탐지 성능을 달성하며, 최상의 모델은 보류 테스트 분할에서 F1=0.731, MuPe-Diversidades에서 F1=0.796을 기록한다. 마지막으로, n-gram 및 음향-시각적 분석을 통해 본 모델이 운율 경계 탐지를 위해 형태통사론적, 의미론적, 운율적 단서를 따름을 보인다.
Transformer Based Punctuation Restoration for Turkish
Explainability of Speech Recognition Transformers via Gradient-based Attention Visualization
Building a Public Domain Voice Database for Odia
토론
이 논문과 연결된 포럼 글이 아직 없습니다.