Computer-assisted Pronunciation Training -- Speech synthesis is almost all you need
원문 초록
The research community has long studied computer-assisted pronunciation training (CAPT) methods in non-native speech. Researchers focused on studying various model architectures, such as Bayesian networks and deep learning methods, as well as on the analysis of different representations of the speech signal. Despite significant progress in recent years, existing CAPT methods are not able to detect pronunciation errors with high accuracy (only 60\% precision at 40\%-80\% recall). One of the key problems is the low availability of mispronounced speech that is needed for the reliable training of pronunciation error detection models. If we had a generative model that could mimic non-native speech and produce any amount of training data, then the task of detecting pronunciation errors would be much easier. We present three innovative techniques based on phoneme-to-phoneme (P2P), text-to-speech (T2S), and speech-to-speech (S2S) conversion to generate correctly pronounced and mispronounced synthetic speech. We show that these techniques not only improve the accuracy of three machine learning models for detecting pronunciation errors but also help establish a new state-of-the-art in the field. Earlier studies have used simple speech generation techniques such as P2P conversion, but only as an additional mechanism to improve the accuracy of pronunciation error detection. We, on the other hand, consider speech generation to be the first-class method of detecting pronunciation errors. The effectiveness of these techniques is assessed in the tasks of detecting pronunciation and lexical stress errors. Non-native English speech corpora of German, Italian, and Polish speakers are used in the evaluations. The best proposed S2S technique improves the accuracy of detecting pronunciation errors in AUC metric by 41\% from 0.528 to 0.749 compared to the state-of-the-art approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RapFlow-TTS: Rapid and High-Fidelity Text-to-Speech with Improved Consistency Flow Matching
InstructTTSEval: Benchmarking Complex Natural-Language Instruction Following in Text-to-Speech Systems
ZipVoice: Fast and High-Quality Zero-Shot Text-to-Speech with Flow Matching
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
Phonikud: 히브리어 텍스트 음성 변환을 위한 음운적 미지정 극복
Phonikud: Overcoming Phonetic Underspecification for Hebrew Text-To-Speech
현대 히브리어를 위한 텍스트 음성 변환(TTS)은 언어의 표기 체계 복잡성으로 인해 어려움을 겪으며, 기존 솔루션은 강세와 같은 미지정 음운적 특징을 무시합니다. 우리는 네 가지 기여를 통해 음운적으로 더 정확한 히브리어 TTS를 위한 프레임워크를 제시합니다: (1) Phonikud, 기본 부호 추가기(diacritizer)를 확장하여 설계된, 완전히 명시된 국제 음성 기호(IPA) 전사를 출력하는 오픈 소스 히브리어 문자소-음소 변환(G2P) 시스템. (2) 히브리어 오디오, 텍스트 및 전문가 IPA 주석이 쌍으로 구성된 ILSpeech 말뭉치(corpus). (3) 이전에 측정되지 않았던 히브리어 G2P 변환 작업을 위한 벤치마크. (4) 자동 TTS 평가를 위해 이전에 간과되었던 음운적 세부 사항을 포착하는 히브리어 오디오-IPA 모델. 우리의 결과는 Phonikud가 이전 방법보다 히브리어 음소를 더 정확하게 예측하며, Phonikud의 음운 입력을 사용하는 소형 로컬 TTS 모델이 대형 독점 시스템에 근접하는 성능을 보임을 보여줍니다. 우리는 https://phonikud.github.io에서 코드, 데이터, 모델을 공개합니다.
Balalaika: Data-Centric, Prosody-Aware Annotation Pipeline for Russian Speech
토론
이 논문과 연결된 포럼 글이 아직 없습니다.