arXiv:2606.07015v1 cs.SD

반주 공동 생성을 통한 노래 생성과 노래 음성 변환의 통합

Towards Unified Song Generation and Singing Voice Conversion with Accompaniment Co-Generation

Ziyu Zhang, Chunyu Qiang, Xiaopeng Wang, Yuxin Guo, Kang Yin, Wenjie Tian, Jingbin Hu, Tianlun Zuo, Zhao Guo, Teng Ma, Yuzhe Liang, Chen Zhang, Lei Xie

제출 2026-06-05

한국어 초록

노래 생성과 노래 음성 변환(SVC)은 크게 발전해 왔지만, 오랫동안 각각 독립적으로 개발되어 왔습니다. 전자는 제로샷 화자 복제(speaker cloning)가 부족하고, 후자는 보컬-반주 시너지를 간과합니다. 이 격차를 메우기 위해, 우리는 화자 복제 노래 생성과 반주 공동 생성 SVC를 통합하는 최초의 end-to-end 프레임워크인 UniSinger를 제안합니다. 멀티모달 확산 트랜스포머(multimodal diffusion transformer)를 기반으로, SVC에서 노래 생성으로 화자 표현을 전달하는 통합 화자 임베딩 공간을 구성하여, 세밀한 교차 과제 음색 제어를 제공합니다. 다중 과제 최적화 충돌을 완화하기 위해, 과제별 모달리티 마스킹을 사용하는 커리큘럼 학습(curriculum learning) 전략을 설계하여, 모델이 의미 내용, 보컬 음색, 반주 간의 생성 메커니즘을 점진적으로 습득하도록 안내합니다. 실험 결과 두 과제 모두에서 최신(state-of-the-art) 성능을 보이며 상호 보완적 이점을 실현하여, 지능형 음악 제작을 위한 새로운 가능성을 제시합니다.

원문 초록

While song generation and singing voice conversion (SVC) have evolved significantly, they have long been developed isolated: the former lacks zero-shot speaker cloning, while the latter overlooks vocal-accompaniment synergy. To bridge this gap, we propose UniSinger, the first end-to-end framework unifying speaker cloning song generation and accompaniment co-generation SVC. Building on the multimodal diffusion transformer, we construct a unified speaker embedding space transferring speaker representation from SVC to song generation, endowing fine-grained cross-task timbre control. To mitigate multi-task optimization conflicts, we design a curriculum learning strategy using task-specific modality masking to guide the model to gradually master the generative mechanisms among semantic content, vocal timbre, and accompaniment. Experiments show state-of-the-art performance on both tasks and realizes complementary benefits, offering new possibilities for intelligent music production.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.07015v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22101v1cs.CV공통 태그 Multi-Task Learning, diffusion transformer

InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델

InnoText: A Unified Model for Visual Text Generation and Editing

확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.

arXiv:2607.06461v1eess.AS공통 태그 Multi-Task Learning, Speech Synthesis

WordVoice: LLM 기반 TTS를 위한 명시적이고 분리된 다차원 단어 수준 제어

WordVoice: Explicit and Decoupled Multi-Dimensional Word-Level Control for LLM-Based TTS

최근 대규모 언어 모델(LLM) 기반 텍스트 음성 변환(TTS) 시스템은 뛰어난 자연스러움을 달성했으나, 주로 암묵적인 엔드-투-엔드 생성 패러다임에 의존하여 거친 수준의 제어에 머무르고 있다. 오디오북 내레이션 및 비디오 더빙과 같이 정밀한 스타일 개입과 엄격한 시간적 정렬이 요구되는 시나리오에서, 단어 수준의 음향 속성을 명시적으로 조작할 수 없다는 점이 핵심적인 병목으로 남아 있다. 이러한 한계는 주로 세밀하게 주석이 달린 데이터셋의 극심한 부족과, 다차원 제어 신호를 이산적 자기회귀(autoregressive) 생성에 통합하는 아키텍처적 과제로 인해 더욱 심화된다. 이를 해결하기 위해, 우리는 높은 정밀도의 단어 수준 제어를 위한 통합 프레임워크를 제안한다. 먼저, 엄격한 언어학 기반 파이프라인을 통해 개발된 5차원 단어 수준 주석(지속 시간, 경계, 에너지, 피치, 성조)을 갖춘 4,700시간 규모의 대규모 이중 언어 데이터셋 WordVoice-5A를 구축한다. 다음으로, 암묵적 생성 과정을 명시적이고 고도로 제어 가능한 패러다임으로 전환하기 위해 WordVoice를 소개한다. 구체적으로, LLM 내에 바운드-토큰(bound-token) 메커니즘을 도입하여 명시적인 '음향 계획(acoustic planning)' 과정을 구성함으로써, 적응적 다중 작업 운율 계획 및 유연한 수동 개입을 가능하게 한다. 또한, 토큰-파형(token-to-waveform) 단계에 세밀한 음향 변조 모듈을 추가하여, 고도로 압축된 이산 토큰과 연속 파형 간의 단어 수준 속성을 엄격하게 정렬하는 해상도 격차를 해소한다. 광범위한 실험을 통해 WordVoice가 경쟁력 있는 제로샷(zero-shot) 합성 안정성을 유지하면서 다수의 음향 차원에 걸쳐 우수하고 분리된 제어를 달성함을 입증한다. 코드 및 오디오 샘플은 https://xxh333.github.io/wordvoice-demo/ 에서 공개적으로 이용 가능하다.

arXiv:2606.27539v2cs.SI공통 태그 Multi-Task Learning

멀티모달 그래프 기반 소셜 미디어 인기 예측 벤치마킹

Benchmarking Multi-Modal Graph-based Social Media Popularity Prediction

소셜 미디어 인기도 예측은 초기 단계의 관측으로부터 온라인 콘텐츠의 향후 도달 범위나 영향력을 예측하는 것을 목표로 한다. 정확한 예측은 광고 최적화나 사용자, 크리에이터, 플랫폼의 전략적 콘텐츠 기획과 같은 주요 하위 응용을 가능하게 한다. 상당한 진전에도 불구하고, 기존의 인기도 예측 연구는 멀티모달 콘텐츠와 시간적 소셜 상호작용 신호를 함께 고려하지 못하는 경우가 많다. 더욱이 관련 문헌은 데이터셋, 모달리티, 관측 윈도우, 예측 대상, 평가 프로토콜에 걸쳐 매우 파편화되어 있다. 이러한 파편화는 공정한 비교를 방해하고, 텍스트, 시각, 시간, 상호작용 기반 신호가 인기도 역학을 어떻게 함께 형성하는지에 대한 체계적인 이해를 가린다. 이러한 문제를 해결하기 위해, 본 논문은 데이터셋, 모달리티, 시간적 상호작용 신호, 대표적인 베이스라인을 표준화된 평가 프로토콜 아래 통합하는 멀티모달 그래프 기반 인기도 예측 벤치마크인 MMG-Pop을 제안한다. 나아가 앞서 언급한 멀티모달 신호와 그래프 구조의 소셜 상호작용을 함께 모델링하는 통합 멀티모달 그래프 기반 네트워크인 MMG-PopNet을 제안한다. Bluesky와 Reddit 플랫폼에 걸친 MMG-Pop에서의 폭넓은 실험은 MMG-PopNet의 우수한 성능을 보여 주며, 플랫폼 간 학습 일반화, 멀티태스크 예측의 이점, 멀티모달리티의 기여, LLM 예측의 한계에 대한 새로운 통찰을 제공한다. 이러한 발견은 이질적인 모달리티와 사회 인식 에이전트 생태계 패러다임 하에서의 사회적 역학 모델링 및 개입에 관한 향후 연구의 토대를 마련한다.

arXiv:2607.21426v2cs.LG공통 태그 Multi-Task Learning

건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링

Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking

협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.

arXiv:2607.09767v2eess.SP공통 태그 Speech Synthesis

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.