PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.12966v2cs.SD

제어 가능한 스타일 임베딩을 활용한 제로샷 롬바드 음성 합성

Zero-Shot Lombard Speech Synthesis with Controllable Style Embeddings

롬바드 효과(Lombard effect)는 자연스러운 의사소통, 특히 소음 환경이나 청각 장애가 있는 청자를 대상으로 할 때 핵심적인 역할을 합니다. 본 연구에서는 롬바드 음성 전용 학습(training) 데이터 없이도 제로샷(zero-shot) 방식으로 롬바드 유사 음성을 합성할 수 있는 제어 가능한 텍스트 음성 변환(TTS) 시스템을 제시합니다. 제안하는 접근법은 학습된 스타일 임베딩(embedding) 표현으로 F5-TTS를 확장하고, 주성분 분석(PCA)을 통해 결과 잠재 공간을 분석하여 롬바드 관련 속성과 연관된 방향을 식별합니다. 이러한 방향을 조작함으로써 발성 노력(vocal effort)과 조음(articulation)을 해석 가능하게 제어하고 다양한 롬바드 수준의 음성을 생성합니다. 실험 결과에 따르면 제안된 방법은 화자 정체성과 자연스러움을 보존하고, 소음 조건에서의 명료도(intelligibility)를 향상하며, 이전에 보지 못한 새로운 화자에게도 일반화됩니다. 이러한 결과는 스타일 임베딩 조작이 제어 가능한 제로샷 롬바드 음성 합성을 위한 효과적이고 확장 가능한 프레임워크를 제공함을 입증합니다.