PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17126v1cs.SD

독립적 제어 개선을 통한 노래 변환을 위한 비브라토 표현 제어

Vibrato Expression Control for Singing Voice Conversion with Improving Independent Control

노래 스타일은 자연스럽고 표현력 있는 노래의 중요한 측면입니다. 가수들은 노래의 감정이나 느낌을 전달하기 위해 노래 스타일을 활용합니다. 더욱 표현력 있는 노래를 만들기 위해 노래 스타일을 제어하는 여러 연구가 제안되었습니다. 최근 VibE-SVC는 고주파 F0 컨투어를 예측하여 비브라토를 성공적으로 제어했습니다. 본 논문에서는 노래 스타일 변환 성능과 제어 가능성을 개선하기 위해 VibE-SVC2라는 노래 변환 프레임워크를 소개합니다. 이 모델은 피치 스타일(pitch style)과 음색 스타일(timbre style)이라는 두 가지 유형의 노래 스타일 제어를 제공합니다. 피치 스타일의 경우, 이전 연구에서 해결되지 않았던 피치-에너지 얽힘(pitch-energy entanglement) 문제를 해결하기 위해 에너지 컨투어에 남아 있는 스타일 정보를 처리하는 새로운 에너지 스타일 변환기(Energy Style Converter)를 도입합니다. 또한, 참조 오디오의 피치 스타일을 모방하는 제로샷 피치 스타일 변환기(Zero-shot Pitch Style Converter)를 제안합니다. 모델의 제어 가능성을 확장하기 위해, VibE-SVC에서는 불가능했던 비브라토 정도에 대한 독립적인 제어인 비브라토 비율 스케일링(vibrato rate scaling)을 제안합니다. 음색 스타일의 경우, 다양한 발성 스타일을 처리하도록 모델을 확장했습니다. 그러나 보컬 프라이(vocal fry)와 같은 특정 스타일을 처리하는 것은 어려운 과제입니다. 이는 고유한 저조파(subharmonic) 특성으로 인해 기존 F0 추출이 자주 실패하여 변환 품질이 저하되기 때문입니다. 이를 해결하기 위해 더 자연스러운 음색 변환을 위해 F0 컨투어를 정제하는 새로운 저조파 보정(Subharmonic Correction) 알고리즘을 제안합니다. 포괄적인 객관적 및 주관적 평가를 통해, VibE-SVC2가 기존 방법보다 우수하며 두 가지 유형의 노래 스타일에 대해 정교하고 독립적인 제어를 제공함을 입증합니다.

arXiv:2606.07015v1cs.SD

반주 공동 생성을 통한 노래 생성과 노래 음성 변환의 통합

Towards Unified Song Generation and Singing Voice Conversion with Accompaniment Co-Generation

노래 생성과 노래 음성 변환(SVC)은 크게 발전해 왔지만, 오랫동안 각각 독립적으로 개발되어 왔습니다. 전자는 제로샷 화자 복제(speaker cloning)가 부족하고, 후자는 보컬-반주 시너지를 간과합니다. 이 격차를 메우기 위해, 우리는 화자 복제 노래 생성과 반주 공동 생성 SVC를 통합하는 최초의 end-to-end 프레임워크인 UniSinger를 제안합니다. 멀티모달 확산 트랜스포머(multimodal diffusion transformer)를 기반으로, SVC에서 노래 생성으로 화자 표현을 전달하는 통합 화자 임베딩 공간을 구성하여, 세밀한 교차 과제 음색 제어를 제공합니다. 다중 과제 최적화 충돌을 완화하기 위해, 과제별 모달리티 마스킹을 사용하는 커리큘럼 학습(curriculum learning) 전략을 설계하여, 모델이 의미 내용, 보컬 음색, 반주 간의 생성 메커니즘을 점진적으로 습득하도록 안내합니다. 실험 결과 두 과제 모두에서 최신(state-of-the-art) 성능을 보이며 상호 보완적 이점을 실현하여, 지능형 음악 제작을 위한 새로운 가능성을 제시합니다.