PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07293v1cs.SD

TargetSEC: 각성 조건부 잠재 스타일 디퓨전을 통한 플러그 앤드 플레이 실제 환경(In-the-Wild) 음성 감정 변환

TargetSEC: Plug-and-Play In-the-Wild Speech Emotion Conversion via Arousal-Conditioned Latent Style Diffusion

음성 감정 변환(Speech Emotion Conversion, SEC)은 내용과 화자 정체성을 보존하면서 원본 발화의 감정을 목표 감정으로 변환하는 것을 목표로 합니다. 실제 환경(In-the-Wild) 데이터에 대한 SEC는 학습 데이터의 비병렬(non-parallel) 특성과 복잡한 실제 음향 환경으로 인해 어려운 과제입니다. 기존의 고정 길이(fixed-duration) 접근 방식은 감정을 효과적으로 변환하는 데 어려움을 겪거나(높은 품질, 낮은 변환율), 음성의 자연스러움을 저하시키는(낮은 품질, 높은 변환율) 문제가 있습니다. 본 연구에서는 화자 정체성과 연속적인 감정에 조건화된 감정 중심 스타일 임베딩을 생성하는 임베딩 기반 잠재 디퓨전 프레임워크인 TargetSEC를 제안합니다. 스펙트로그램(spectrogram) 위에서 확산(diffuse)하는 방법들과 달리, TargetSEC는 압축된 잠재 공간에서 작동합니다. MSP-Podcast 데이터셋에 대한 실험 결과, TargetSEC는 높은 음성 품질을 유지하면서 변환 정확도 면에서 현재의 비지속(non-duration) 기준 모델들을 능가하며, 명시적인 시간적 모델링 없이도 지속 시간 예측 시스템과 유사한 성능을 달성함을 보여줍니다.