한국어 초록
인공적으로 생성된 음성은 일상생활에 점점 더 깊이 자리 잡고 있습니다. 특히 음성 복제(voice cloning)는 녹음 완성, 새로운 언어로의 더빙, 또는 언어 상실을 겪는 개인의 음성 보존과 같이 화자의 정체성 보존이 중요한 응용 분야를 가능하게 합니다. 그러나 본 연구에서는 이러한 명칭에도 불구하고, 음성 복제가 개인의 음성을 충실하게 '복제'하지 못한다는 점을 발견했습니다. 대신 널리 사용되는 음성 복제 모델들이 원본 음성에 체계적으로 스타일 전이(style transfer)를 적용한다는 사실을 확인했습니다. 인간 평가자의 평가 결과, 복제된 음성은 원본에 비해 더 권위 있고, 따뜻하며, 고객 서비스와 같고, 인간답게 인식되는 것으로 나타났습니다. 또한 인간 평가자들은 원본 음성보다 복제된 음성에 대해 더 큰 신뢰를 표했으며, 민감한 개인 정보를 더 기꺼이 공개하려는 경향을 보였습니다. 나아가 본 연구는 억양, 발화 속도 및 오디오 임베딩 공간의 분산 감소로 측정된 바와 같이, 음성 복제가 화자 특성의 균질화로 이어진다는 점을 보여줍니다. 종합적으로 본 연구 결과는 음성 복제 기술의 새로운 한계와 위험, 그리고 이것이 인간 행동에 미칠 수 있는 잠재적 영향을 강조합니다.
원문 초록
Artificially generated speech is increasingly embedded in everyday life. Voice cloning in particular enables applications where identity preservation is important, such as completing a recording, dubbing in a new language, or preserving the voices of individuals with speech loss. However, in our work, we find that despite the term, voice cloning does not faithfully ''clone'' an individual's voice. Instead, we find that widely-used voice cloning models systematically apply style transfer to source voices. As rated by human annotators, cloned voices are perceived as more authoritative, warm, customer-service-like, and human-like compared to their sources. Human annotators also report greater trust in cloned voices than source voices, and a greater willingness to disclose sensitive personal information to them. Our work furthermore shows that voice cloning leads to homogenization of speaker characteristics, as measured by reduced variance in accent, speaking rate, and the audio embedding space. Together, our results highlight a new set of limitations and risks of voice cloning technology and their potential impact on human behavior.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Few-Shot Speech Deepfake Detection Adaptation with Gaussian Processes
ClonEval: An Open Voice Cloning Benchmark
제어 가능한 스타일 임베딩을 활용한 제로샷 롬바드 음성 합성
Zero-Shot Lombard Speech Synthesis with Controllable Style Embeddings
롬바드 효과(Lombard effect)는 자연스러운 의사소통, 특히 소음 환경이나 청각 장애가 있는 청자를 대상으로 할 때 핵심적인 역할을 합니다. 본 연구에서는 롬바드 음성 전용 학습(training) 데이터 없이도 제로샷(zero-shot) 방식으로 롬바드 유사 음성을 합성할 수 있는 제어 가능한 텍스트 음성 변환(TTS) 시스템을 제시합니다. 제안하는 접근법은 학습된 스타일 임베딩(embedding) 표현으로 F5-TTS를 확장하고, 주성분 분석(PCA)을 통해 결과 잠재 공간을 분석하여 롬바드 관련 속성과 연관된 방향을 식별합니다. 이러한 방향을 조작함으로써 발성 노력(vocal effort)과 조음(articulation)을 해석 가능하게 제어하고 다양한 롬바드 수준의 음성을 생성합니다. 실험 결과에 따르면 제안된 방법은 화자 정체성과 자연스러움을 보존하고, 소음 조건에서의 명료도(intelligibility)를 향상하며, 이전에 보지 못한 새로운 화자에게도 일반화됩니다. 이러한 결과는 스타일 임베딩 조작이 제어 가능한 제로샷 롬바드 음성 합성을 위한 효과적이고 확장 가능한 프레임워크를 제공함을 입증합니다.
Spotlight-TTS: Spotlighting the Style via Voiced-Aware Style Extraction and Style Direction Adjustment for Expressive Text-to-Speech
CloneShield: A Framework for Universal Perturbation Against Zero-Shot Voice Cloning
MIKU-PAL: An Automated and Standardized Multi-Modal Method for Speech Paralinguistic and Affect Labeling
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
NeurIPS 2026