PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17126v1cs.SD

독립적 제어 개선을 통한 노래 변환을 위한 비브라토 표현 제어

Vibrato Expression Control for Singing Voice Conversion with Improving Independent Control

노래 스타일은 자연스럽고 표현력 있는 노래의 중요한 측면입니다. 가수들은 노래의 감정이나 느낌을 전달하기 위해 노래 스타일을 활용합니다. 더욱 표현력 있는 노래를 만들기 위해 노래 스타일을 제어하는 여러 연구가 제안되었습니다. 최근 VibE-SVC는 고주파 F0 컨투어를 예측하여 비브라토를 성공적으로 제어했습니다. 본 논문에서는 노래 스타일 변환 성능과 제어 가능성을 개선하기 위해 VibE-SVC2라는 노래 변환 프레임워크를 소개합니다. 이 모델은 피치 스타일(pitch style)과 음색 스타일(timbre style)이라는 두 가지 유형의 노래 스타일 제어를 제공합니다. 피치 스타일의 경우, 이전 연구에서 해결되지 않았던 피치-에너지 얽힘(pitch-energy entanglement) 문제를 해결하기 위해 에너지 컨투어에 남아 있는 스타일 정보를 처리하는 새로운 에너지 스타일 변환기(Energy Style Converter)를 도입합니다. 또한, 참조 오디오의 피치 스타일을 모방하는 제로샷 피치 스타일 변환기(Zero-shot Pitch Style Converter)를 제안합니다. 모델의 제어 가능성을 확장하기 위해, VibE-SVC에서는 불가능했던 비브라토 정도에 대한 독립적인 제어인 비브라토 비율 스케일링(vibrato rate scaling)을 제안합니다. 음색 스타일의 경우, 다양한 발성 스타일을 처리하도록 모델을 확장했습니다. 그러나 보컬 프라이(vocal fry)와 같은 특정 스타일을 처리하는 것은 어려운 과제입니다. 이는 고유한 저조파(subharmonic) 특성으로 인해 기존 F0 추출이 자주 실패하여 변환 품질이 저하되기 때문입니다. 이를 해결하기 위해 더 자연스러운 음색 변환을 위해 F0 컨투어를 정제하는 새로운 저조파 보정(Subharmonic Correction) 알고리즘을 제안합니다. 포괄적인 객관적 및 주관적 평가를 통해, VibE-SVC2가 기존 방법보다 우수하며 두 가지 유형의 노래 스타일에 대해 정교하고 독립적인 제어를 제공함을 입증합니다.