arXiv:1803.00860

Can we steal your vocal identity from the Internet?: Initial investigation of cloning Obama's voice using GAN, WaveNet and low-quality found data

Jaime Lorenzo-Trueba, Fuming Fang, Xin Wang, Isao Echizen, Junichi Yamagishi, Tomi Kinnunen

제출 2018-03-02

원문 초록

Thanks to the growing availability of spoofing databases and rapid advances in using them, systems for detecting voice spoofing attacks are becoming more and more capable, and error rates close to zero are being reached for the ASVspoof2015 database. However, speech synthesis and voice conversion paradigms that are not considered in the ASVspoof2015 database are appearing. Such examples include direct waveform modelling and generative adversarial networks. We also need to investigate the feasibility of training spoofing systems using only low-quality found data. For that purpose, we developed a generative adversarial network-based speech enhancement system that improves the quality of speech data found in publicly available sources. Using the enhanced data, we trained state-of-the-art text-to-speech and voice conversion models and evaluated them in terms of perceptual speech quality and speaker similarity. The results show that the enhancement models significantly improved the SNR of low-quality degraded data found in publicly available sources and that they significantly improved the perceptual cleanliness of the source speech without significantly degrading the naturalness of the voice. However, the results also show limitations when generating speech with the low-quality found data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13608v1eess.AS공통 태그 Generative Adversarial Network, Voice Conversion

적대적 학습을 통한 연속 SPL 제어 기반 음성 강도 변환

Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training

음성 강도 변환(vocal intensity conversion)은 녹음된 발화의 내용과 화자 정체성(speaker identity)을 보존하면서, 단순히 진폭을 스케일링하는 것이 아니라 해당 발화를 다른 음성 강도로 렌더링한다. 기존 시스템은 참조 발화(reference utterance) 또는 몇 가지 불연속적인 범주를 통해 강도를 제어한다. 대신, 우리는 연속적인 dB 스케일 상의 임의의 목표 음압 레벨(sound pressure level, SPL)로 변환을 제어한다. 병렬 데이터 없이 조건부 순환 일관성 생성적 적대 신경망(conditional cycle-consistent GAN)으로 학습된 경량 변환기(converter)는 고정된(frozen) 음성 인코더의 특징(feature)을 변환하며, 이로부터 사전학습된 보코더(vocoder)가 음성을 재합성한다. 우리는 로그-멜 스펙트로그램(log-mel spectrogram), WavLM, SpeechTokenizer 세 가지 표현(representation)을 비교하고, 보정된(calibrated) 코퍼스 상에서 달성된 강도 변화를 목표 강도 변화와 비교하여 측정하는 객관적 프로토콜을 도입한다. WavLM을 사용할 경우, 변환기는 목표 강도 변화의 83%를 달성하는 것으로 측정되었으며, 기본 주파수(fundamental frequency) 또한 이동시킨다. 지각 평가(perceptual evaluation)는 진폭이 정규화된(amplitude-normalized) 자극(stimuli)에서 지각된 음성 강도가 목표 레벨에 따라 증가함을 확인한다.

arXiv:2609.24688v1cs.SD공통 태그 Generative Adversarial Network, Voice Conversion

ECAPA-TDNN 임베딩의 초구면 기하 이해와 제로샷 음성 변환에 미치는 영향

Understanding Hyperspherical Geometry of ECAPA-TDNN Embedding and Its Impact on Zero-Shot Voice Conversion

각도 마진(angular-margin) 화자 인코더는 음성 변환에 널리 쓰이지만, 분류기 프로토타입(classifier prototype)의 기하는 여전히 잘 알려져 있지 않다. 본 연구는 ECAPA-TDNN 분류기 프로토타입을 단위 초구면(unit hypersphere) 위의 점으로 분석하고, 회전 불변(rotation-invariant) 각 통계와 전역·지역 유효 차원(effective dimensionality) 지표를 함께 사용해 그 배치를 특성화한다. 분석 결과, 표준 학습(training)은 각 집중(angular concentration)과 유효 차원의 큰 폭 감소를 유발할 수 있음을 보인다. 이에 대응해, 분류기 프로토타입에 더 균일한 초구면(hyperspherical) 커버리지를 유도하기 위해 두 가지 기하적 정규ization(regularization) 전략(hinged Riesz log-energy, 유효 차원 최대화)을 적용해 조사한다. 그 결과 프로토타입 집합은 더 높은 유효 차원과 개선된 등방성(isotropy)을 보이며, 화자 인식(speaker recognition) 성능에는 구성에 따른 영향이 있다. 해당 ECAPA-TDNN 모델을 Fast-VGAN의 화자 인코더로 사용할 때, 정규화된 시스템은 제로샷 음성 변환(zero-shot voice conversion)에서도 견고성이 향상되며, 특히 이전에 보지 못한 화자에서 두드러진다.

arXiv:2607.08208v2cs.CL공통 태그 Speech Synthesis, Text to Speech

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.02633v1cs.LG공통 태그 Voice Conversion, Speech Synthesis

GRAFT: 제로샷 텍스트 음성 변환에서 세밀한 발음을 위한 접목된 참조 오디오

GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech

본 논문에서는 텍스트 음성 변환(text-to-speech) 신경망 코덱 언어 모델링을 위한 단어 단위 발음 컨디셔닝 메커니즘인 GRAFT를 제안한다. 기존 시스템들은 높은 명료성과 자연스러움을 달성하지만 텍스트의 모호성을 그대로 물려받아 희귀한 고유명사, 외래어, 전문 용어를 잘못 발음하는 경향이 있다. 음소 조건부 모델조차도 단어별 발음에 대한 직접적인 음향적 제어 수단을 제공하지 않는다. GRAFT는 짧은 발화 샘플에서 선택한 단어의 발음을 제어하는데, 이 샘플은 모델 자체의 음성 토크나이저로 인코딩되어 프롬프트(prompt) 내 해당 단어의 위치에 바인딩된다. 학습(training) 데이터 구성 과정에서 음성 변환을 적용하여 힌트 화자와 목표 화자를 분리함으로써, 힌트는 임의의 음성에서 가져오더라도 출력은 목표 화자의 음성을 유지한다. 영어 블라인드 청취 실험에서 인간 평가자들은 GRAFT를 명확한 마진(margin)으로 1위로 선택하였으며, 어려운 단어의 렌더링이 해당 단어의 참조 녹음에 가장 가깝다고 평가하였다. 5개 언어 객관적 벤치마크에서 GRAFT는 동일한 텍스트 전용 백본 대비 목표 단어 음소 오류율을 22–39% 감소시키며, 음소 조건부 및 텍스트 조건부 방식을 포함한 경쟁력 있는 오픈소스 제로샷 시스템들을 목표 단어 발음 측면에서 능가하는 동시에 화자 유사성과 자연스러움을 유지한다.

arXiv:2607.02799v1cs.CV공통 태그 Generative Adversarial Network, Speech Synthesis

대화형 인간 오디오-비주얼 토킹 다이얼로그 생성

Conversational Human Audio-visual Talking Dialogue Generation

대규모 양자 간 상호작용 오디오-비주얼 다이얼로그(DIAD) 데이터셋은 휴머노이드 상호작용 가상 에이전트와 디지털 휴먼 개발을 위한 핵심 데이터 자원을 제공합니다. 그러나 이러한 데이터 수집은 시간이 많이 소요되고 비용이 높으며 윤리적으로 민감합니다. 이를 해결하기 위해, 우리는 단일 텍스트 프롬프트로부터 다양하고 쌍을 이루며 상호 반응하는 음성-얼굴 대화 클립을 생성하는 새로운 양자 간 상호작용 오디오-비주얼 다이얼로그 생성(DIADG) 프레임워크인 CHAT을 제안합니다. CHAT은 대규모 언어 모델(LLM)과 토킹 페이스 모델을 상호작용 오디오 및 안면 행동 정제 모듈과 통합하여, 다양한 콘텐츠와 안면 정체성을 갖춘 정렬된 양자 간 대화 클립 생성을 가능하게 합니다. 실험 결과, CHAT은 유사한 태스크를 위해 설계된 기존 관련 방법들을 객관적 및 주관적 평가 모두에서 능가합니다. 또한, 합성된 CHAT-AVD-50k 데이터셋은 다운스트림 인터랙티브 헤드 생성을 위한 효과적인 사전학습 데이터로 활용되어 REACT 2024에서 PerFRDiff와 ReactDiff를 일관되게 향상시킵니다. CHAT은 실제 양자 간 상호작용 데이터의 비용이 높고 윤리적으로 민감한 수집에 대한 확장 가능한 대안을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.