반주 공동 생성을 통한 노래 생성과 노래 음성 변환의 통합
Towards Unified Song Generation and Singing Voice Conversion with Accompaniment Co-Generation
노래 생성과 노래 음성 변환(SVC)은 크게 발전해 왔지만, 오랫동안 각각 독립적으로 개발되어 왔습니다. 전자는 제로샷 화자 복제(speaker cloning)가 부족하고, 후자는 보컬-반주 시너지를 간과합니다. 이 격차를 메우기 위해, 우리는 화자 복제 노래 생성과 반주 공동 생성 SVC를 통합하는 최초의 end-to-end 프레임워크인 UniSinger를 제안합니다. 멀티모달 확산 트랜스포머(multimodal diffusion transformer)를 기반으로, SVC에서 노래 생성으로 화자 표현을 전달하는 통합 화자 임베딩 공간을 구성하여, 세밀한 교차 과제 음색 제어를 제공합니다. 다중 과제 최적화 충돌을 완화하기 위해, 과제별 모달리티 마스킹을 사용하는 커리큘럼 학습(curriculum learning) 전략을 설계하여, 모델이 의미 내용, 보컬 음색, 반주 간의 생성 메커니즘을 점진적으로 습득하도록 안내합니다. 실험 결과 두 과제 모두에서 최신(state-of-the-art) 성능을 보이며 상호 보완적 이점을 실현하여, 지능형 음악 제작을 위한 새로운 가능성을 제시합니다.