arXiv:2606.17126v1 cs.SD

독립적 제어 개선을 통한 노래 변환을 위한 비브라토 표현 제어

Vibrato Expression Control for Singing Voice Conversion with Improving Independent Control

Joon-Seung Choi, Dong-Min Byun, Seong-Whan Lee

제출 2026-06-15

한국어 초록

노래 스타일은 자연스럽고 표현력 있는 노래의 중요한 측면입니다. 가수들은 노래의 감정이나 느낌을 전달하기 위해 노래 스타일을 활용합니다. 더욱 표현력 있는 노래를 만들기 위해 노래 스타일을 제어하는 여러 연구가 제안되었습니다. 최근 VibE-SVC는 고주파 F0 컨투어를 예측하여 비브라토를 성공적으로 제어했습니다. 본 논문에서는 노래 스타일 변환 성능과 제어 가능성을 개선하기 위해 VibE-SVC2라는 노래 변환 프레임워크를 소개합니다. 이 모델은 피치 스타일(pitch style)과 음색 스타일(timbre style)이라는 두 가지 유형의 노래 스타일 제어를 제공합니다. 피치 스타일의 경우, 이전 연구에서 해결되지 않았던 피치-에너지 얽힘(pitch-energy entanglement) 문제를 해결하기 위해 에너지 컨투어에 남아 있는 스타일 정보를 처리하는 새로운 에너지 스타일 변환기(Energy Style Converter)를 도입합니다. 또한, 참조 오디오의 피치 스타일을 모방하는 제로샷 피치 스타일 변환기(Zero-shot Pitch Style Converter)를 제안합니다. 모델의 제어 가능성을 확장하기 위해, VibE-SVC에서는 불가능했던 비브라토 정도에 대한 독립적인 제어인 비브라토 비율 스케일링(vibrato rate scaling)을 제안합니다. 음색 스타일의 경우, 다양한 발성 스타일을 처리하도록 모델을 확장했습니다. 그러나 보컬 프라이(vocal fry)와 같은 특정 스타일을 처리하는 것은 어려운 과제입니다. 이는 고유한 저조파(subharmonic) 특성으로 인해 기존 F0 추출이 자주 실패하여 변환 품질이 저하되기 때문입니다. 이를 해결하기 위해 더 자연스러운 음색 변환을 위해 F0 컨투어를 정제하는 새로운 저조파 보정(Subharmonic Correction) 알고리즘을 제안합니다. 포괄적인 객관적 및 주관적 평가를 통해, VibE-SVC2가 기존 방법보다 우수하며 두 가지 유형의 노래 스타일에 대해 정교하고 독립적인 제어를 제공함을 입증합니다.

원문 초록

Singing style is a crucial aspect of a natural and expressive singing voice. Singers utilize singing styles to convey the feeling or emotion of the songs. Several works have been proposed to control singing style for making the more expressive singing voice. Recently, VibE-SVC successfully controls vibrato by predicting high-frequency F0 contour. In this paper, we introduce a singing voice conversion framework, called VibE-SVC2, to improve singing style conversion performance and controllability. The model offers control over two types of singing styles: a pitch style and a timbre style. For the pitch style, to resolve the pitch-energy entanglement issue that is unresolved in our previous work, we introduce a novel Energy Style Converter to address remaining style information in the energy contour. In addition, we propose a Zero-shot Pitch Style Converter, which mimics the pitch style of reference audio. To expand the controllability of the model, we propose vibrato rate scaling that is an independent control of vibrato extent, which is unavailable in VibE-SVC. For the timbre style, we extend the model to handle a variety of phonation styles. However, addressing specific styles such as vocal fry poses a challenge, as conventional F0 extraction often fails due to their inherent subharmonic characteristics, which degrades the conversion quality. To address this, we propose a novel Subharmonic Correction algorithm to refine the F0 contour for more natural timbre conversion. Through comprehensive objective and subjective evaluations, we demonstrate that VibE-SVC2 provides fine-grained, independent control over two types of singing styles, outperforming existing methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17126v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09767v2eess.SP공통 태그 Disentanglement, Speech Synthesis

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2610.02044v2cs.CV공통 태그 Style Transfer, Disentanglement

DiDE: 3D 스타일화를 위한 색상-텍스처 디커플링 기반 직접 주입

DiDE:Direct Injection with Color-Texture DEcoupling for 3D Stylization

정류 흐름(rectified flow) 기반 이미지-to-3D 생성 모델의 최근 발전은 고충실도 3D 에셋 생성을 가능하게 했습니다. 이를 바탕으로, 참조 이미지의 시각적 속성을 생성된 3D 에셋으로 전이하기 위해 이러한 강력한 3D 사전 분포(prior)를 활용하는 학습(training) 불필요 스타일화 연구가 점차 늘어나고 있습니다. 그러나 기존 방법들은 '전부 아니면 전무(all-or-nothing)' 패러다임을 강제하여, 색상과 텍스처를 독립적으로 제어할 수 있는 메커니즘 없이 결합된 형태로 전이하며, 본 논문에서는 이러한 한계를 분리된 3D 스타일화(Disentangled 3D Stylization, Disen3D) 문제로 공식화합니다. 이를 해결하기 위해, 저자들은 Disen3D를 위한 최초의 학습 불필요 프레임워크인 DiDE를 제안합니다. 제안하는 접근법의 핵심은 이미지-to-3D 모델의 구조화된 잠재 공간(latent space)이 텍스처 관점에서 과완비(overcomplete)되어 있다는 관찰에 있습니다. 즉, 텍스처 정보는 스타일에 중요한 채널 중 극히 일부만 차지하므로, 독립적인 색상 인코딩에 사용할 수 있는 여유 하위 공간(subspace)이 남게 됩니다. DiDE는 전용 브랜치를 통해 콘텐츠 이미지, 텍스처 참조, 색상 참조를 처리하고 모든 셀프 어텐션(self-attention) 층(layer)에서 두 스타일 신호를 간섭 없이 합성하여 전체 과정에서 콘텐츠 지오메트리를 보존하는 채널 분할 메커니즘을 통해 이를 활용합니다. 새롭게 구축된 다중 참조 벤치마크인 Disen3D-Bench에 대한 실험 결과, DiDE가 색상 충실도, 텍스처 전이, 콘텐츠 보존 측면에서 기존 2D 및 3D 스타일화 베이스라인들을 일관되게 능가함을 보여줍니다.

arXiv:2609.23817v1cs.CV공통 태그 Style Transfer, Disentanglement

VISTA: 비디오가 주입된 양식화 텍스트-애니메이션 생성

VISTA: Video-Injected Stylized Text-to-Animation

본 논문에서는 함께 쌍을 이루는 (텍스트, 비디오, 양식화된 모션) 트리플렛(triplet) 없이도 텍스트 프롬프트의 구조적 콘텐츠와 참조 비디오의 표현력 있는 스타일을 융합하여 양식화된 3D 인간 모션을 생성하는 2단계 프레임워크인 VISTA를 제시한다. 먼저 Dual-channel Autoencoder가 모션 시퀀스와 비디오 클립을 공유 잠재 다양체(latent manifold)로 매핑한다. 그런 다음 마스크된 자기회귀 확산(masked autoregressive diffusion) 백본이 이 다양체 내에서 작동하며, 텍스트 조건화된 콘텐츠 구조를 보존하면서 전용 후기 융합(late-fusion) Dual-AdaLN 경로를 통해 비디오 유래 스타일을 주입한다. 잠재 순환 일관성(latent cycle consistency)을 갖춘 교차 배치(cross-batch) 비쌍형 학습(unpaired training) 프로토콜은 의미론적으로 풍부한 데이터셋과 스타일적으로 다양한 분리된 데이터셋 전반에 걸친 공동 학습을 가능하게 한다. 제어 가능한 애니메이션 합성의 개념 증명으로서, 렌더링된 모션 캡처 참조를 통해 VISTA를 검증했다. VISTA는 비디오 조건부 방법 중 가장 높은 스타일 인식 정확도를 달성하는 동시에 경쟁력 있는 콘텐츠 정렬을 유지하며, 분해된 3방향 분류기 없는 유도(classifier-free guidance)를 통해 추론(inference) 시 사용자가 콘텐츠-스타일 균형을 독립적으로 제어하며 보정할 수 있도록 지원한다.

arXiv:2607.24721v1cs.CV공통 태그 Style Transfer, Disentanglement

DreamStyle3D: 이중 어텐션 분리를 통한 효율적인 3D 스타일화 에셋 생성

DreamStyle3D: Efficient 3D Stylized Asset Generation via Dual-Attention Disentanglement

게이밍, 애니메이션, 가상현실(VR) 산업의 성장과 함께 스타일화된 3D 에셋의 효율적 생성에 대한 수요가 빠르게 증가하고 있다. 그러나 기존 접근법들은 대부분 간접적인 2D-to-3D 스타일화 파이프라인에 의존하고 있어, 스타일 충실도, 기하학적 일관성, 생성 효율성을 동시에 유지하는 데 여전히 어려움을 겪고 있다. 이는 효율성을 유지하면서 스타일과 기하학을 명시적으로 분리(disentangle)할 수 있는 네이티브 3D 스타일화 프레임워크의 필요성을 제기한다. 이를 위해, 우리는 Decoupled Dual Cross-Attention 메커니즘을 기반으로 구축된 스타일화 3D 에셋 생성을 위한 효율적인 프레임워크인 DreamStyle3D를 제안한다. 우리 방법은 구조적 일관성을 유지하면서 효율적인 스타일 주입을 가능하게 하기 위해 기하학적 특징과 스타일 특징을 명시적으로 분리하며, 또한 스타일 일관성과 모델 일반화를 향상시키기 위해 경량 학습 전�ategy를 채택한다. 또한, 우리는 자동화된 데이터 파이프라인을 구축하고 학습 및 평가를 위해 약 15K개의 콘텐츠-스타일-스타일화 삼중항(triplet) 데이터셋을 구성한다. 광범위한 실험을 통해, DreamStyle3D가 10초 이내에 고충실도의 기하학적으로 일관된 스타일화 3D 에셋을 생성할 수 있음을 보여주며, 우수한 스타일 품질을 유지하면서 효율성을 크게 향상시키고 3D 콘텐츠 제작을 위한 새로운 해결책을 제공한다. 코드와 데이터는 https://github.com/HVision-NKU/DreamStyle3D 에서 이용할 수 있다.

arXiv:2607.20924v1cs.CV공통 태그 Style Transfer, Disentanglement

MagicMakeup: 고충실도 메이크업 전이를 위한 영역 제어형 확산 트랜스포머

MagicMakeup: A Region-Controllable Diffusion Transformer for High-Fidelity Makeup-Transfer

메이크업 전이는 소스 얼굴의 정체성을 보존하면서 참조 메이크업을 소스 얼굴에 적용하는 작업이다. 확산 기반 방법을 통한 전체 얼굴 편집의 발전에도 불구하고, 강한 영역 제어성, 메이크업 충실도, 정체성 보존은 여전히 어려운 과제로 남아 있다. 그 이유는 (i) 픽셀-어텐션 불일치로 인해 비대상 영역으로의 번짐이 발생하고 영역 제어가 약화되는 것, (ii) 두 이미지 조건부 설정 하에서 전이/보존 개념 분리가 불명확하여 메이크업 속성과 정체성 간 결합이 발생하는 것, (iii) 정체성 일관성과 영역 라벨이 있는 고해상도 데이터셋이 부족하여 세밀한 감독이 어려운 것이다. 본 논문에서는 공간적 제약과 개념 분리에 기반하여, 영역 제어 가능하고 고충실도 메이크업 전이를 위한 확산 트랜스포머 기반 프레임워크인 MagicMakeup을 제안한다. 정체성을 보존하면서 정밀한 영역별 편집을 가능하게 하기 위해, 픽셀 마스크를 어텐션과 정렬하고 영역별 로짓 게이팅을 적용하는 Token-Aligned Region Gating을 제안한다. 전이와 보존 개념을 명확히 하기 위해, 텍스트와 이미지 특징을 정렬하여 교차 모달 개념 인식을 강화하는 Cross-Modal Perception Guidance를 추가로 도입한다. 또한 영역별 메이크업 제거를 통해 1024 x 1024 데이터 쌍을 생성하는 파이프라인을 설계하고, 합성 및 실제 설정에서 통합 벤치마크를 구축한다. 광범위한 정량적 및 정성적 실험 결과, MagicMakeup은 스타일, 인종, 포즈에 걸쳐 강한 견고성을 보이며 영역 제어성, 메이크업 충실도, 정체성 보존을 개선함을 보여준다.

arXiv:2607.12404v1cs.CV공통 태그 Style Transfer, Disentanglement

스타일-내용 분리를 위한 대조 증강 플로우 매칭

Contrastive-Augmented Flow Matching for Style-Content Disentanglement

내용과 스타일을 분리하는 표현 학습은 제어 가능한 생성과 조합적 일반화(compositional generalization)에 매우 중요하다. 그러나 주로 생성 목적함수로 학습된 확산(diffusion) 및 플로우 기반 모델은 종종 얽히거나 정렬되지 않은 요인을 생성한다. 이 간극을 해소하기 위해, 우리는 가역적 플로우 매칭(flow matching) 공식에 대조 정규화(contrastive regularization)를 통합하여 구조화된 내용-스타일 표현을 촉진하는 프레임워크인 Contrastive Augmented Flow Matching(CAtFM)을 제안한다. 중간 잠재 변수(latent)나 속도장(velocity field)을 제약하는 대신, 학습 중 예측된 종단점(endpoint)에 대조 감독(contrastive supervision)을 적용하여, 운반된 분포(transported distribution) 간 의미적 일관성을 강제하면서, 엄격히 순수하거나 완전히 요인분해된(factorized) 내용 및 스타일 표현을 가정하지 않고 분리(disentanglement)가 암묵적으로 나타나도록 한다. 주 실험은 CLIP 임베딩 공간에서 수행하였으며, 고정(frozen) DINO 및 ALIGN 인코더를 사용한 추가 검증도 진행하였다. 합성 데이터, 도메인 내(in-domain) 스타일, 그리고 실세계 벤치마크(ImageNet, WikiArt, DomainNet, DTD)에 걸쳐, CAtFM은 생성적 및 판별적(discriminative) 베이스라인 대비 내용 및 스타일 검색을 향상시키고, 임베딩 클러스터 분리를 강화하며, 더 강한 오픈셋(open-set) 견고성(robustness)을 달성한다. 전반적으로 CAtFM은 판별적 제약과 결정적(deterministic) 수송(transport)을 결합하는 간단한 방법을 제공하여, 분포 이동(distribution shift) 하에서 분리와 견고성을 개선한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.