Deep Denoising Auto-encoder for Statistical Speech Synthesis
원문 초록
This paper proposes a deep denoising auto-encoder technique to extract better acoustic features for speech synthesis. The technique allows us to automatically extract low-dimensional features from high dimensional spectral features in a non-linear, data-driven, unsupervised way. We compared the new stochastic feature extractor with conventional mel-cepstral analysis in analysis-by-synthesis and text-to-speech experiments. Our results confirm that the proposed method increases the quality of synthetic speech in both experiments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Bts-e: Audio deepfake detection using breathing-talking-silence encoder
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
분리된 시간-깊이 확산 트랜스포머 기반 메모리 효율적 오디오 합성
Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers
Siri Expressive Voices는 Apple의 가장 강력한 온디바이스 파운데이션 모델인 AFM 3 Core Advanced를 기반으로, 풍부하고 설정 가능한 음성을 실시간으로 전적으로 기기 내에서 합성한다. 본 연구는 이 기능의 기반이 되는 메모리 효율적 오디오 합성 아키텍처를 제시한다. 이는 파운데이션 모델이 내보내는 의미적 오디오 토큰을 Scalable Matrix Extension(SME)의 빠듯한 연산 및 메모리 예산 내에서 고충실도 오디오로 변환하는 디토크나이저이다. 우리는 시간 처리와 깊이 처리를 체계적으로 분리하는 스트리밍 인코더, 시간 디코더, 깊이 디코더의 세 구성 요소 설계로 의미적 오디오 토큰을 잔차 벡터 양자화(RVQ) 표현으로 변환한다. Diffusion Transformer(DiT) 방식의 단계 조건화를 갖춘 단일 재사용 가능 깊이 디코더가 모든 RVQ 수준을 자기회귀적으로 생성하여 기존 다중 디코더 아키텍처의 수준별 전용 디코더를 대체하며, 고정 윈도 키-값 캐싱을 사용하는 인과적 슬라이딩 윈도 어텐션은 시퀀스 길이와 무관한 일정한 메모리 복잡도를 제공한다. AMX에 배포된 디토크나이저는 생성 단계당 약 10 ms를 유지하여 실시간보다 약 16배 빠르며, 최대 런타임 메모리는 21 MB, 온디바이스 자산은 329 MB에 불과하여 20–320초 분량의 오디오를 연속 스트리밍 합성할 수 있다. 이러한 일정하고 작은 점유량은 기존 트랜스포머 및 GAN 기반 접근법의 선형 및 이차 메모리 증가를 대체한다. 절제 연구는 핵심 아키텍처 구성 요소를 검증하며, 오디오 품질 평가는 이 아키텍처가 기존 방법 대비 효율 향상을 달성하면서도 합성 충실도를 유지함을 확인한다. AFM 3 Core Advanced 내에서 10억 파라미터 활성화 크기로 동작하여, 이전 온디바이스 텍스트 음성 변환 시스템 대비 평균 의견 점수(MOS)를 전체적으로 +0.28(4.15 대 3.87), 대화체 음성에서 +0.42(4.24 대 3.82) 향상시킨다.
심층 특징 앵커링 선호 최적화를 통한 스트리밍 목표 화자 추출의 품질-명료도 트레이드오프 극복
Breaking the Quality--Intelligibility Trade-off in Streaming Target Speaker Extraction via Deep-Feature-Anchored Preference Optimization
목표 화자 추출(TSE)을 위한 생성형 스트리밍 모델은 일반적으로 품질-명료도 트레이드오프를 나타내는데, 지각적 오디오 품질을 위한 단순한 최적화는 음성 명료도를 저하시키는 경향이 있으며 그 반대도 마찬가지이다. 우리는 이 트레이드오프가 스트리밍 아키텍처의 제약에서 비롯되는 것이 아니라, 최적화 앵커의 부적절한 선택에서 발생함을 밝힌다. 오디오 품질 지표를 직접 최적화하면 치명적인 보상 해킹(reward hacking)이 유발되며, 이로 인해 발음과 명료도에 핵심적인 콘텐츠가 대리 점수를 극대화하기 위해 체계적으로 제거된다. 이 병목을 해소하기 위해, 우리는 두 가지 상호 보완적인 개선책을 제안한다: 더 풍부한 로컬 스펙트로-시간 모델링을 위한 확장된 Conformer 합성곱 커널, 그리고 WavLM 앵커링 직접 선호 최적화(DPO) 미세조정 전략이다. DPO 선호 쌍은 음성 구조와 화자 정체성을 모두 인코딩하는 심층 음향 특징인 WavLM 코사인 유사도로 순위가 매겨지며, 이는 해킹에 저항하는 최적화 앵커를 제공한다. 560 ms 스트리밍 청크 크기에서, 제안된 방법은 10.9%의 상대적 명료도 향상(단어 오류율: 0.138에서 0.123)을 달성하며, 오디오 품질과 화자 유사도에서도 동시에 소폭의 향상을 보인다.
Multi-Stage Deep Transfer Learning for EmIoT-enabled Human-Computer Interaction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.