Initial investigation of an encoder-decoder end-to-end TTS framework using marginalization of monotonic hard latent alignments
원문 초록
End-to-end text-to-speech (TTS) synthesis is a method that directly converts input text to output acoustic features using a single network. A recent advance of end-to-end TTS is due to a key technique called attention mechanisms, and all successful methods proposed so far have been based on soft attention mechanisms. However, although network structures are becoming increasingly complex, end-to-end TTS systems with soft attention mechanisms may still fail to learn and to predict accurate alignment between the input and output. This may be because the soft attention mechanisms are too flexible. Therefore, we propose an approach that has more explicit but natural constraints suitable for speech signals to make alignment learning and prediction of end-to-end TTS systems more robust. The proposed system, with the constrained alignment scheme borrowed from segment-to-segment neural transduction (SSNT), directly calculates the joint probability of acoustic features and alignment given an input text. The alignment is designed to be hard and monotonically increase by considering the speech nature, and it is treated as a latent variable and marginalized during training. During prediction, both the alignment and acoustic features can be generated from the probabilistic distributions. The advantages of our approach are that we can simplify many modules for the soft attention and that we can train the end-to-end TTS model using a single likelihood function. As far as we know, our approach is the first end-to-end TTS without a soft attention mechanism.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지
Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts
텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.
분리된 시간-깊이 확산 트랜스포머 기반 메모리 효율적 오디오 합성
Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers
Siri Expressive Voices는 Apple의 가장 강력한 온디바이스 파운데이션 모델인 AFM 3 Core Advanced를 기반으로, 풍부하고 설정 가능한 음성을 실시간으로 전적으로 기기 내에서 합성한다. 본 연구는 이 기능의 기반이 되는 메모리 효율적 오디오 합성 아키텍처를 제시한다. 이는 파운데이션 모델이 내보내는 의미적 오디오 토큰을 Scalable Matrix Extension(SME)의 빠듯한 연산 및 메모리 예산 내에서 고충실도 오디오로 변환하는 디토크나이저이다. 우리는 시간 처리와 깊이 처리를 체계적으로 분리하는 스트리밍 인코더, 시간 디코더, 깊이 디코더의 세 구성 요소 설계로 의미적 오디오 토큰을 잔차 벡터 양자화(RVQ) 표현으로 변환한다. Diffusion Transformer(DiT) 방식의 단계 조건화를 갖춘 단일 재사용 가능 깊이 디코더가 모든 RVQ 수준을 자기회귀적으로 생성하여 기존 다중 디코더 아키텍처의 수준별 전용 디코더를 대체하며, 고정 윈도 키-값 캐싱을 사용하는 인과적 슬라이딩 윈도 어텐션은 시퀀스 길이와 무관한 일정한 메모리 복잡도를 제공한다. AMX에 배포된 디토크나이저는 생성 단계당 약 10 ms를 유지하여 실시간보다 약 16배 빠르며, 최대 런타임 메모리는 21 MB, 온디바이스 자산은 329 MB에 불과하여 20–320초 분량의 오디오를 연속 스트리밍 합성할 수 있다. 이러한 일정하고 작은 점유량은 기존 트랜스포머 및 GAN 기반 접근법의 선형 및 이차 메모리 증가를 대체한다. 절제 연구는 핵심 아키텍처 구성 요소를 검증하며, 오디오 품질 평가는 이 아키텍처가 기존 방법 대비 효율 향상을 달성하면서도 합성 충실도를 유지함을 확인한다. AFM 3 Core Advanced 내에서 10억 파라미터 활성화 크기로 동작하여, 이전 온디바이스 텍스트 음성 변환 시스템 대비 평균 의견 점수(MOS)를 전체적으로 +0.28(4.15 대 3.87), 대화체 음성에서 +0.42(4.24 대 3.82) 향상시킨다.
사용자 생성 텍스트의 음소화: 벤치마크, 분류 체계 및 조합적 접근
Phonemizing User-Generated Text: A Benchmark, Taxonomy, and Compositional Approach
텍스트 음성 변환 시스템은 ppl, imo와 같은 사용자 생성 텍스트(UGT)를 점점 더 많이 처리하며, 이러한 텍스트의 발음은 표면 형태가 아니라 정규(canonical) 형태로부터 추론해야 한다. 우리는 영어, 베트남어, 한국어 UGT를 위한 최초의 grapheme-to-phoneme(G2P) 벤치마크 UGTPhon과, 세밀한 진단을 위한 추론 기반 분류 체계를 제안한다. 기존 G2P 모델과 최신 프론티어 LLM은 체계적인 정규-비정규 성능 격차를 보이며, 최대 66.8 PER points에 이른다. 벤치마크 기준선으로, exact-match lookup과 단계적 디코딩(staged decoding)을 통해 정규 형태 증거를 통합하는 단순한 조합적 G2P 접근법을 제안한다. 매칭된 ByT5 및 Qwen2.5-0.5B 백본 전반에서 명시적 정규 형태 모델링은 비정규 G2P 오류를 일관되게 줄인다. 0.5B 변형은 훨씬 더 큰 퓨샷(few-shot) 프론티어 LLM과도 경쟁력 있는 성능을 보이며, UGT 음소화를 위해 정규 형태 추론을 명시적으로 모델링하는 이점을 부각한다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
Bts-e: Audio deepfake detection using breathing-talking-silence encoder
토론
이 논문과 연결된 포럼 글이 아직 없습니다.