arXiv:2606.19629v1 cs.SD

RIVET: 견고한 멱등 음성 속성 편집

RIVET: Robust Idempotent Voice Attribute Editing

Dareen Alharthi, Bhuvan Koduru, Rita Singh, Bhiksha Raj

제출 2026-06-17

한국어 초록

음성 속성 편집 모델은 화자 정체성을 보존하면서 나이와 성별과 같은 특성을 수정합니다. 그러나 대규모 음성 데이터셋에서 속성 주석은 종종 노이즈가 많거나 불일치하여, 조건부 생성 모델이 불안정한 편집 결과를 생성하게 할 수 있습니다. 본 연구에서는 멱등성(idempotency)이 노이즈 라벨에 대한 견고성을 향상시키는 효과적인 메커니즘을 제공함을 보여줍니다. 멱등 연산자는 반복 적용해도 결과가 변하지 않는 연산자, 즉 f(f(x)) = f(x)를 만족하는 연산자입니다. 이 속성을 강제하는 것은 잘못 라벨링된 예제에 대한 민감도를 낮추는 암묵적 정규화(implicit regularizer) 역할을 합니다. 우리는 라벨 노이즈에 대한 견고성을 향상시키기 위해 멱등성 목적함수(objective)를 통합한 학습 프레임워크인 RIVET를 소개합니다. 우리는 통제된 라벨 노이즈 환경과 자연스럽게 노이즈가 포함된 주석이 있는 GLOBE 데이터셋에서 RIVET를 평가했습니다. RIVET는 표준 학습보다 편집 성공률을 높이고 화자 정체성을 더 잘 보존하며, 이는 멱등성이 음성 편집 모델의 견고성을 향상시킴을 보여줍니다.

원문 초록

Voice attribute editing models modify characteristics such as age and gender while preserving speaker identity. In large-scale speech datasets, however, attribute annotations are often noisy or inconsistent, which can cause conditional generative models to produce unstable edits. In this work, we show that idempotency provides an effective mechanism for improving robustness to noisy labels. An idempotent operator is one for which repeated application does not change the result, i.e., f(f(x)) = f(x). Enforcing this property acts as an implicit regularizer that reduces sensitivity to mislabeled examples. We introduce RIVET, a training framework that incorporates an idempotency objective to improve robustness to label noise. We evaluate RIVET under controlled label noise and on the GLOBE dataset with naturally noisy annotations. RIVET improves editing success and better preserves speaker identity than standard training, showing that idempotency improves robustness in voice editing models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19629v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09767v2eess.SP공통 태그 Disentanglement, Speech Synthesis

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2607.08545v1cs.SD공통 태그 Disentanglement, Speech Synthesis

엔드투엔드 오디오 모델의 주파수 표현에 나타나는 구조적 병목

Structural Bottlenecks on Frequency Representation in End-to-End Audio Models

엔드투엔드(end-to-end) 신경망 오디오 모델은 고품질 압축 및 생성을 달성한다. 이러한 성능을 근거로 모델이 음정(pitch)이나 음색(timbre)과 같은 해석 가능한 특징을 직접 표현한다고 볼 수 있지만, 그럴듯한 출력을 생성한다고 해서 반드시 그러한 표현이 이루어지는 것은 아니다. 모델은 도달 가능한 임의의 기저에서 이러한 특징들을 인코딩할 수 있으나, 어떤 기저를 사용하더라도 해당 특징들은 시간-주파수 국소화된 기본 요소(time-frequency-localized primitives)의 조합으로 잘 기술된다. 최신 인코더들이 이러한 기본 요소, 나아가 그 조합에 대한 접근을 보존하는지 여부는 아직 불명확하다. 이론적 분석과 통제된 실험을 통해, 우리는 최신 스트라이드 합성곱(strided convolutional) 인코더 여러 개가 이러한 기본 요소에 대한 접근을 아키텍처와 신호 구조로부터 예측 가능한 두 가지 구조적 병목을 부과함을 보인다: (1) 기본 요소들을 에일리어싱 동치류(alias equivalence classes)로 병합하여 표현 용량에 상한을 설정하고, (2) 학습된 필터가 사용할 수 있는 주파수 해상도를 제한하여 분리 가능성을 저하시킨다. 잘 구조화된 데이터에서 31–35%의 병합률(collapse rate)과 이론적 해상도 경계의 10–35배에 달하는 필터 대역폭을 확인하였으며, 이는 현실적인 신호 조건에서도 두 병목이 모두 발생함을 입증한다. 이어서 우리는 Gabor Latent Refactorization(GLRF)을 제안한다. 이는 인코더 잠재 표현을 주파수 국소화된 기저로 재표현하는 경량의 사후 개입(post-hoc intervention)으로, 재학습 없이 필터 대역폭을 이론적 해상도 경계의 10–35배에서 1.5–3배로 줄이면서도 재구성 충실도를 유지하고 음정과 같은 속성에 대한 제어를 향상시킨다. 이 결과는 해당 인코더들이 주파수 국소화된 기본 요소에 대한 접근을 예측 가능한 방식으로 저하시켜 그에 의존하는 특징들을 얽히게 만들며, 경량의 재학습 불필요 개입을 통해 해당 접근의 상당 부분을 회복하여 조정 가능성(steerability)과 해석 가능성(interpretability)을 개선할 수 있음을 보여준다.

arXiv:2606.31128v1cs.SD공통 태그 Disentanglement, Speech Synthesis

UniSAE: 이산 음성학적 사후그램 모델링을 통한 화자, 감정 및 저수준 내용에 대한 통합 음성 속성 편집

UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling

음성 편집(speech editing)은 발화의 특정 부분을 수정하면서 나머지 음성은 보존하는 것을 목표로 한다. 기존 접근법은 주로 단어 수준의 내용 수정에 초점을 맞추며, 내용·화자·감정 편집을 별도의 작업으로 처리하는 경우가 많아 편집 세분성과 유연성이 제한된다. 우리는 단일 아키텍처 내에서 음소 이하(sub-phoneme) 수준부터 단어 수준까지 조합 가능한 화자, 감정 및 내용 편집을 지원하는 통합 음성 속성 편집 프레임워크인 UniSAE를 제안한다. UniSAE는 음소 정체성, 발음 변이, 지속 시간을 인코딩하는 이산 토큰으로 음성 내용을 분해하는 이산 음성학적 사후그램(Discrete Phonetic PosteriorGram, DPPG) 표현을 도입하여, 직접적인 음소 및 음소 이하 수준의 편집을 가능하게 한다. 더 높은 수준의 수정을 위해서는 자기회귀 내용 트랜스포머가 단어 수준 내용 편집을 위한 수정된 DPPG 시퀀스를 예측한다. 수정된 시퀀스는 분리된 화자 및 감정 표현을 조건으로 하는 확산 기반 음향 디코더에 의해 음성으로 렌더링된다. 실험 결과, 제안된 통합 프레임워크가 정밀한 화자 및 감정 제어, 다양한 세분성 수준에서의 내용 편집, 그리고 단일 프레임워크 내에서 세 가지 속성 모두의 공동 수정을 지원함을 보여준다.

arXiv:2606.17126v1cs.SD공통 태그 Disentanglement, Speech Synthesis

독립적 제어 개선을 통한 노래 변환을 위한 비브라토 표현 제어

Vibrato Expression Control for Singing Voice Conversion with Improving Independent Control

노래 스타일은 자연스럽고 표현력 있는 노래의 중요한 측면입니다. 가수들은 노래의 감정이나 느낌을 전달하기 위해 노래 스타일을 활용합니다. 더욱 표현력 있는 노래를 만들기 위해 노래 스타일을 제어하는 여러 연구가 제안되었습니다. 최근 VibE-SVC는 고주파 F0 컨투어를 예측하여 비브라토를 성공적으로 제어했습니다. 본 논문에서는 노래 스타일 변환 성능과 제어 가능성을 개선하기 위해 VibE-SVC2라는 노래 변환 프레임워크를 소개합니다. 이 모델은 피치 스타일(pitch style)과 음색 스타일(timbre style)이라는 두 가지 유형의 노래 스타일 제어를 제공합니다. 피치 스타일의 경우, 이전 연구에서 해결되지 않았던 피치-에너지 얽힘(pitch-energy entanglement) 문제를 해결하기 위해 에너지 컨투어에 남아 있는 스타일 정보를 처리하는 새로운 에너지 스타일 변환기(Energy Style Converter)를 도입합니다. 또한, 참조 오디오의 피치 스타일을 모방하는 제로샷 피치 스타일 변환기(Zero-shot Pitch Style Converter)를 제안합니다. 모델의 제어 가능성을 확장하기 위해, VibE-SVC에서는 불가능했던 비브라토 정도에 대한 독립적인 제어인 비브라토 비율 스케일링(vibrato rate scaling)을 제안합니다. 음색 스타일의 경우, 다양한 발성 스타일을 처리하도록 모델을 확장했습니다. 그러나 보컬 프라이(vocal fry)와 같은 특정 스타일을 처리하는 것은 어려운 과제입니다. 이는 고유한 저조파(subharmonic) 특성으로 인해 기존 F0 추출이 자주 실패하여 변환 품질이 저하되기 때문입니다. 이를 해결하기 위해 더 자연스러운 음색 변환을 위해 F0 컨투어를 정제하는 새로운 저조파 보정(Subharmonic Correction) 알고리즘을 제안합니다. 포괄적인 객관적 및 주관적 평가를 통해, VibE-SVC2가 기존 방법보다 우수하며 두 가지 유형의 노래 스타일에 대해 정교하고 독립적인 제어를 제공함을 입증합니다.

arXiv:2606.06740v1cs.SD공통 태그 Disentanglement, Speech Synthesis

다국어 다화자 유닛 보코더: 이산 음성 표현에 대한 체계적 분석

Multilingual Multi-Speaker Unit Vocoders: A Systematic Analysis of Discrete Speech Representations

자기 지도 임베딩(self-supervised embeddings)의 k-means 군집화를 통해 얻은 이산 음성 유닛(discrete speech units)은 음성적(phonetic), 화자, 언어 정보가 얽혀 있어, 다국어 다화자 음성 생성에서 화자 혼합(speaker mixing)과 언어 간 간섭(cross-lingual interference)을 유발합니다. 오디오 LLM(Audio LLM) 및 음성 대 음성 시스템(speech-to-speech systems)에서의 사용이 증가하고 있음에도 불구하고, 유닛 보코더(unit vocoder)는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 4개의 인도어를 대상으로 BigVGAN 기반 유닛 보코더를 분석합니다. WER(단어 오류율), 화자 유사도, 유닛 수준 메트릭을 사용하여 클러스터 크기와 조건화 전략 간의 상호작용을 연구합니다. 결과에 따르면, 클러스터 크기는 음성적 식별력(phonetic discriminability)을 향상시켜 명료도(intelligibility)를 좌우하며, 명시적 화자 조건화(explicit speaker conditioning)는 정체성 붕괴(identity collapse) 방지에 필수적입니다. 언어 감독(language supervision)은 유닛이 여전히 모호한 낮은 클러스터 크기에서 주로 추가적인 이득을 제공합니다. 분석 결과, 더 작은 인벤토리(inventory)에서 언어 간 유사한 음소(phonemes)는 동일한 클러스터 ID로 통합되는 반면, 더 큰 클러스터에서는 점진적으로 분리되는 것으로 나타났습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.