Deep Feed-forward Sequential Memory Networks for Speech Synthesis
원문 초록
The Bidirectional LSTM (BLSTM) RNN based speech synthesis system is among the best parametric Text-to-Speech (TTS) systems in terms of the naturalness of generated speech, especially the naturalness in prosody. However, the model complexity and inference cost of BLSTM prevents its usage in many runtime applications. Meanwhile, Deep Feed-forward Sequential Memory Networks (DFSMN) has shown its consistent out-performance over BLSTM in both word error rate (WER) and the runtime computation cost in speech recognition tasks. Since speech synthesis also requires to model long-term dependencies compared to speech recognition, in this paper, we investigate the Deep-FSMN (DFSMN) in speech synthesis. Both objective and subjective experiments show that, compared with BLSTM TTS method, the DFSMN system can generate synthesized speech with comparable speech quality while drastically reduce model complexity and speech generation time.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
합성 음성만 있을 때: GRPO를 선택하라
When Synthetic Speech Is All You Have: Better Call GRPO
은행과 같은 규제 도메인에 적응된 대규모 언어 모델(LLM) 기반 자동 음성 인식(ASR)은 프라이버시 문제로 인해 병목이 발생한다: 실제 음성은 수집 비용이 높고 법적 제약이 따르기 때문에, 합성 텍스트 음성 변환(TTS)이 매력적인 대안으로 부상한다. 그러나 합성 음성은 실제 녹음과 음향적으로 불일치한 상태를 유지하며, 이 간극을 다루는 연구는 지도 미세조정(SFT) 범위 내에 머물러 있었다. 우리는 대신 강화학습으로 전환하여, Group Relative Policy Optimization(GRPO)이 동일한 합성 음성으로부터 SFT보다 훨씬 많은 성능을 이끌어냄을 보인다. 낮은 단어 오류율(WER) 가설을 보상하는 크리틱 없는(critic-free) 방법인 GRPO를 이용해 합성 음성만으로 모델을 적응시키면 SFT 대비 WER이 40% 상대적으로 감소하며(36.71%→22.09%), SFT 후 GRPO를 결합하면 이를 45%까지 더 향상시킨다. 우리는 이 향상이 표현(representation)보다 행동(behavior)에 기인함을 규명한다: GRPO는 정지 보정(stopping calibration)을 개선하여 삽입 오류를 줄이고, 어텐션을 오디오에 더 잘 고정시킴으로써 음성-텍스트 정렬을 향상시키며, 초기 층 표현은 그대로 유지한다. 합성 음성이 주된 자원일 때, 강화학습이 지도 미세조정보다 선호되어야 한다.
UR-BERT: 보편적 로마자 표기와 음성 토큰 예측을 통한 대규모 다국어 텍스트 음성 변환을 위한 텍스트 인코더 확장
UR-BERT: Scaling Text Encoders for Massively Multilingual TTS Through Universal Romanization and Speech Token Prediction
우리는 대규모 다국어 텍스트 음성 변환(TTS) 시스템을 위한 로마자 표기 기반의 텍스트 음성 변환(TTS) 인코더인 UR-BERT를 제안합니다. 기존의 문자소-음소 변환(G2P) 기반 접근법은 신뢰할 수 있는 G2P 리소스의 가용성으로 인해 약 100개 언어로 제한됩니다. 이와 대조적으로, UR-BERT는 다양한 문자 체계를 공유된 로마자 표기 표현으로 통합하여 495개 언어로 확장할 수 있습니다. 음성적 충실도와 텍스트-음성 정렬을 더욱 향상시키기 위해, 우리는 학습(training) 중에 음성 토큰 예측 목적 함수를 도입하여, 인코더가 데이터 효율적인 방식으로 음성 인지형 음성학적 표현을 학습하도록 유도합니다. 실험 결과, UR-BERT로 구축된 TTS 시스템은 다양한 언어 및 리소스 조건에서 최근 텍스트 인코더 기준 모델들을 지속적으로 능가하며, 보이지 않는 언어에 대한 강력한 일반화 능력을 입증했습니다.
브라질 포르투갈어의 운율 경계 분절을 위한 트랜스포머 기반 접근법
Transformer-based segmentation of prosodic boundaries in Brazilian Portuguese
자동 운율 분절(automatic prosodic segmentation)은 음향 및 언어적 증거로부터 발화 단위 간의 경계를 식별한다. 최근 심층 학습 접근법이 영어에서 강력한 성능을 보이고 있으나, 브라질 포르투갈어(BP)의 자동 분절은 여전히 대부분 규칙 기반 또는 전통적인 기계 학습 방법에 의존하고 있다. 본 논문에서는 SAMPA를 제안한다. SAMPA는 Whisper 기반 분절기로, 브라질 포르투갈어 음성을 전사하면서 종결 운율 경계에 대한 명시적 마커를 삽입한다. NURC-SP 데이터셋의 수동 분절 녹음 데이터로 Whisper large-v3를 파인튜닝하고, MuPe-Diversidades 데이터셋에 대한 분포 외(out-of-distribution) 테스트를 포함하여 다양한 학습 및 테스트 시간 필터링 구성을 평가한다. SAMPA는 다양한 설정에서 경쟁력 있는 경계 탐지 성능을 달성하며, 최상의 모델은 보류 테스트 분할에서 F1=0.731, MuPe-Diversidades에서 F1=0.796을 기록한다. 마지막으로, n-gram 및 음향-시각적 분석을 통해 본 모델이 운율 경계 탐지를 위해 형태통사론적, 의미론적, 운율적 단서를 따름을 보인다.
자동 음성 인식 시스템의 생성적 테스팅
Generative Testing of Automated Speech Recognition Systems
자동 음성 인식(ASR) 시스템은 트랜스포머 기반 모델로 높은 정확도를 달성하여 중요한 응용 분야에 배포되고 있다. 그러나 이러한 시스템은 적대적 조작에 여전히 취약하며, 특히 공격이 지각적 자연스러움을 보존해야 하는 블랙박스 환경에서 더욱 그러하다. 본 연구는 텍스트-투-스피치 모델의 음소 수준 잠재 공간에서 동작하여 실패를 유발하는 입력을 생성하는 블랙박스 테스팅 접근법인 GATAS를 제안한다. 파형을 직접 교란하는 대신, 자연 음성의 매니폴드 내에 머무르면서 잠재 표현을 보간하여 전사 오류를 유발한다. 이 공격은 의미적 발산과 지각적 품질의 균형을 맞추는 다목적 최적화 문제로 정식화된다. 화이트박스 및 블랙박스 기준선에 대한 실험적 평가 결과, GATAS는 98%의 성공률을 달성하면서 낮은 왜곡과 높은 지각적 품질을 제공함을 인간 연구를 통해 확인하였다. 그래디언트 접근 없이 동작함에도 불구하고, GATAS는 화이트박스 방법에 필적하는 성능을 보이며, 표현 및 지각적 정렬이 모델 내부에 대한 접근보다 더 중요함을 강조한다. 전반적으로, 본 연구의 결과는 비표적 잠재 공간 최적화가 ASR 시스템에 대한 현실적이고 효과적인 테스트 케이스의 효율적 생성을 가능하게 함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.