Transplantation of Conversational Speaking Style with Interjections in Sequence-to-Sequence Speech Synthesis
원문 초록
Sequence-to-Sequence Text-to-Speech architectures that directly generate low level acoustic features from phonetic sequences are known to produce natural and expressive speech when provided with adequate amounts of training data. Such systems can learn and transfer desired speaking styles from one seen speaker to another (in multi-style multi-speaker settings), which is highly desirable for creating scalable and customizable Human-Computer Interaction systems. In this work we explore one-to-many style transfer from a dedicated single-speaker conversational corpus with style nuances and interjections. We elaborate on the corpus design and explore the feasibility of such style transfer when assisted with Voice-Conversion-based data augmentation. In a set of subjective listening experiments, this approach resulted in high-fidelity style transfer with no quality degradation. However, a certain voice persona shift was observed, requiring further improvements in voice conversion.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
적대적 학습을 통한 연속 SPL 제어 기반 음성 강도 변환
Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training
음성 강도 변환(vocal intensity conversion)은 녹음된 발화의 내용과 화자 정체성(speaker identity)을 보존하면서, 단순히 진폭을 스케일링하는 것이 아니라 해당 발화를 다른 음성 강도로 렌더링한다. 기존 시스템은 참조 발화(reference utterance) 또는 몇 가지 불연속적인 범주를 통해 강도를 제어한다. 대신, 우리는 연속적인 dB 스케일 상의 임의의 목표 음압 레벨(sound pressure level, SPL)로 변환을 제어한다. 병렬 데이터 없이 조건부 순환 일관성 생성적 적대 신경망(conditional cycle-consistent GAN)으로 학습된 경량 변환기(converter)는 고정된(frozen) 음성 인코더의 특징(feature)을 변환하며, 이로부터 사전학습된 보코더(vocoder)가 음성을 재합성한다. 우리는 로그-멜 스펙트로그램(log-mel spectrogram), WavLM, SpeechTokenizer 세 가지 표현(representation)을 비교하고, 보정된(calibrated) 코퍼스 상에서 달성된 강도 변화를 목표 강도 변화와 비교하여 측정하는 객관적 프로토콜을 도입한다. WavLM을 사용할 경우, 변환기는 목표 강도 변화의 83%를 달성하는 것으로 측정되었으며, 기본 주파수(fundamental frequency) 또한 이동시킨다. 지각 평가(perceptual evaluation)는 진폭이 정규화된(amplitude-normalized) 자극(stimuli)에서 지각된 음성 강도가 목표 레벨에 따라 증가함을 확인한다.
Clean2FX: 클린-이펙트 기타 오디오 변환을 위한 레이블 조건부 모델링
Clean2FX: Label-conditioned modeling for clean-to-effect guitar audio transformations
본 논문에서는 일렉트릭 기타 오디오의 레이블 조건부 클린-이펙트 변환에 대한 연구 및 데모인 Clean2FX를 제안한다. 클린 기타 입력과 목표 이펙트 레이블이 주어졌을 때, 음악적 내용을 보존하면서 해당 이펙트가 적용된 신호를 합성하는 것이 목표이다. 학습 및 평가 쌍은 EGFxSet의 실제 단음 녹음으로부터 클린/이펙트 코드, 멜로디, 혼합 타임라인을 매칭하여 구성되며, 이를 통해 이펙트 간 통제된 비교가 가능하다. 공통된 스펙트로그램 기반 변환 설정 하에서 네 가지 신경망 접근법을 평가한다: 선형 또는 로그-크기 표현에서 동작하는지에 따라 구분되는 두 가지 변분 오토인코더(variational autoencoder)와 두 가지 U-Net 모델이다. 성능은 선형-크기 스펙트로그램 MSE와 Fréchet Audio Distance(FAD)로 측정한다. U-Net 모델이 변분 오토인코더 변형보다 우수한 성능을 보인다. 이펙트별 결과에서는 왜곡(distortion) 이펙트가 가장 크게 개선되는 반면, 딜레이(delay)와 리버브(reverb) 이펙트는 상당한 스펙트럼 오차 감소에도 불구하고 FAD 향상폭이 미미함을 보인다. 조건부 민감도 진단은 최우수 모델이 단일 변환으로 수렴하지 않고 목표 레이블에 반응함을 보여주는 근거를 제공한다. 데모 웹사이트에서는 학습 및 검증 데이터 외부의 실제 기타 연주에 두 모델을 적용하여, 실용적인 클린-이펙트 동작의 오디오 및 스펙트로그램 예시를 비교한다.
LLM 기반 ASR 시스템에서 합성 음성을 활용하는 방법
How to Leverage Synthetic Speech for LLM-Based ASR Systems?
금융 및 의료와 같이 규제된 도메인에서는 개인정보 보호 제약으로 인해 실제 음성을 수집하고 보관하는 비용이 크기 때문에, 민감한 고객 녹음을 노출하지 않고 자동 음성 인식(ASR)을 학습하기 위한 대안으로 최신 텍스트 음성 변환(TTS)의 합성 음성이 매력적인 선택지가 된다. 그러나 합성 데이터와 실제 데이터 사이의 지속적인 분포적 격차는 합성 음성이 실제 녹음을 대체할 수 있는 범위를 제한한다. 기존 연구들은 이 격차를 주로 엔지니어링으로 극복해야 할 블랙박스로 다루었지만, 본 연구에서는 SLAM-ASR 아키텍처를 분석하여 그 원인을 직접 규명한다. LLM 백본이 실제 음성과 합성 음성을 분리하는 위치를 파악한 결과, 판별 신호가 초기~중간 층에 집중되어 있으며, 이 층에서 시간적 및 운율적 섭동이 가장 큰 영향을 미치는 것을 발견했다. 나아가 표현 수준의 분리가능성이 도움이 되기는 하지만, 하류 ASR 성능 향상을 직접적으로 예측하지는 않음을 보였다. 반면, 실내 충격 응답(RIR)과 합성 음성을 합성곱 처리하면 합성 음성을 더 깨끗하거나 자연스럽게 들리게 만드는 방식이 아닌, 실제 녹음의 음향적 불규칙성을 재현함으로써 격차를 좁힌다. 이러한 발견을 학습 절차에 적용하여, 층 선택 모듈과 RIR 증강을 결합하면 실제 음성의 25%만(13.6시간)으로도 완전한 실제 데이터 기준선에 필적하며, 더 높은 비율에서는 기준선을 상회한다.
다중 기관 데이터셋에 걸친 유방촬영술 석회화 분류를 위한 비지도 도메인 적응
Unsupervised Domain Adaptation for Calcification Classification in Mammography Across Multi-Site Datasets
심층 학습(deep learning) 기반 컴퓨터 보조 진단(CAD) 시스템은 유방암 진단, 특히 유방촬영술의 분류 작업에서 높은 성능을 보여왔다. 그러나 다중 기관 데이터셋 간의 도메인 이동(domain shift)은 여전히 과제로 남아 있으며, 특히 모델이 미지의 도메인에 적용될 때 두드러진다. 본 연구에서는 다중 기관 유방촬영술 데이터셋에 걸쳐 악성 대 양성 유방 질환 분류를 개선하기 위한 석회화 분류 프레임워크를 제안하였다. 이 프레임워크는 두 가지 구성 요소로 이루어진다: (1) 추가 어노테이션 없이 제조사별 및 촬영 기법별 학습 샘플을 생성하기 위해 스타일 전이 모델(AdaIN 및 CycleGAN)을 기반으로 한 비지도 도메인 적응 모듈, 그리고 (2) Swin Transformer V2를 백본으로 사용하는 지도 분류 모듈. 제안한 방법을 세 가지 데이터셋에서 평가하였다: OPTIMAM(영국 국민보건서비스; n=2994)에 대한 교차 검증, 이후 EMBED(에모리 대학교; n=125) 및 Duke Calcification Dataset v1(n=788)에 대한 외부 검증. 이 데이터셋들은 여러 제조사를 포함하며, 전장 디지털 유방촬영술(full-field digital mammography)과 디지털 유방 단층합성술(digital breast tomosynthesis)에서 파생된 합성 2D 이미지를 모두 포함한다. 제안된 프레임워크는 EMBED(AUC 0.68에서 0.72)와 Duke Calcification Dataset(AUC 0.68에서 0.73) 모두에서 교차 기관 성능을 향상시켰다. 이러한 결과는 도메인 적응이 도메인 이동을 줄이고 다중 기관 데이터셋에 걸친 석회화 분류의 일반화를 개선할 수 있음을 보여준다.
GRAFT: 제로샷 텍스트 음성 변환에서 세밀한 발음을 위한 접목된 참조 오디오
GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech
본 논문에서는 텍스트 음성 변환(text-to-speech) 신경망 코덱 언어 모델링을 위한 단어 단위 발음 컨디셔닝 메커니즘인 GRAFT를 제안한다. 기존 시스템들은 높은 명료성과 자연스러움을 달성하지만 텍스트의 모호성을 그대로 물려받아 희귀한 고유명사, 외래어, 전문 용어를 잘못 발음하는 경향이 있다. 음소 조건부 모델조차도 단어별 발음에 대한 직접적인 음향적 제어 수단을 제공하지 않는다. GRAFT는 짧은 발화 샘플에서 선택한 단어의 발음을 제어하는데, 이 샘플은 모델 자체의 음성 토크나이저로 인코딩되어 프롬프트(prompt) 내 해당 단어의 위치에 바인딩된다. 학습(training) 데이터 구성 과정에서 음성 변환을 적용하여 힌트 화자와 목표 화자를 분리함으로써, 힌트는 임의의 음성에서 가져오더라도 출력은 목표 화자의 음성을 유지한다. 영어 블라인드 청취 실험에서 인간 평가자들은 GRAFT를 명확한 마진(margin)으로 1위로 선택하였으며, 어려운 단어의 렌더링이 해당 단어의 참조 녹음에 가장 가깝다고 평가하였다. 5개 언어 객관적 벤치마크에서 GRAFT는 동일한 텍스트 전용 백본 대비 목표 단어 음소 오류율을 22–39% 감소시키며, 음소 조건부 및 텍스트 조건부 방식을 포함한 경쟁력 있는 오픈소스 제로샷 시스템들을 목표 단어 발음 측면에서 능가하는 동시에 화자 유사성과 자연스러움을 유지한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.