arXiv:2211.07493

The Potential of Neural Speech Synthesis-based Data Augmentation for Personalized Speech Enhancement

Anastasia Kuznetsova, Aswin Sivaraman, Minje Kim

제출 2022-11-14

원문 초록

With the advances in deep learning, speech enhancement systems benefited from large neural network architectures and achieved state-of-the-art quality. However, speaker-agnostic methods are not always desirable, both in terms of quality and their complexity, when they are to be used in a resource-constrained environment. One promising way is personalized speech enhancement (PSE), which is a smaller and easier speech enhancement problem for small models to solve, because it focuses on a particular test-time user. To achieve the personalization goal, while dealing with the typical lack of personal data, we investigate the effect of data augmentation based on neural speech synthesis (NSS). In the proposed method, we show that the quality of the NSS system's synthetic data matters, and if they are good enough the augmented dataset can be used to improve the PSE system that outperforms the speaker-agnostic baseline. The proposed PSE systems show significant complexity reduction while preserving the enhancement quality.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Data Augmentation, Speech Synthesis

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2606.29031v2cs.CL공통 태그 Data Augmentation, Speech Synthesis

LLM 기반 ASR 시스템에서 합성 음성을 활용하는 방법

How to Leverage Synthetic Speech for LLM-Based ASR Systems?

금융 및 의료와 같이 규제된 도메인에서는 개인정보 보호 제약으로 인해 실제 음성을 수집하고 보관하는 비용이 크기 때문에, 민감한 고객 녹음을 노출하지 않고 자동 음성 인식(ASR)을 학습하기 위한 대안으로 최신 텍스트 음성 변환(TTS)의 합성 음성이 매력적인 선택지가 된다. 그러나 합성 데이터와 실제 데이터 사이의 지속적인 분포적 격차는 합성 음성이 실제 녹음을 대체할 수 있는 범위를 제한한다. 기존 연구들은 이 격차를 주로 엔지니어링으로 극복해야 할 블랙박스로 다루었지만, 본 연구에서는 SLAM-ASR 아키텍처를 분석하여 그 원인을 직접 규명한다. LLM 백본이 실제 음성과 합성 음성을 분리하는 위치를 파악한 결과, 판별 신호가 초기~중간 층에 집중되어 있으며, 이 층에서 시간적 및 운율적 섭동이 가장 큰 영향을 미치는 것을 발견했다. 나아가 표현 수준의 분리가능성이 도움이 되기는 하지만, 하류 ASR 성능 향상을 직접적으로 예측하지는 않음을 보였다. 반면, 실내 충격 응답(RIR)과 합성 음성을 합성곱 처리하면 합성 음성을 더 깨끗하거나 자연스럽게 들리게 만드는 방식이 아닌, 실제 녹음의 음향적 불규칙성을 재현함으로써 격차를 좁힌다. 이러한 발견을 학습 절차에 적용하여, 층 선택 모듈과 RIR 증강을 결합하면 실제 음성의 25%만(13.6시간)으로도 완전한 실제 데이터 기준선에 필적하며, 더 높은 비율에서는 기준선을 상회한다.

arXiv:2607.02763v1cs.CL공통 태그 Data Augmentation, Speech Synthesis

LuxSQA: TTS 증강 음성 질의응답으로 룩셈부르크어로 질문하기

LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering

음성 질의응답(SQA)은 여전히 고자원 언어와 정밀하게 녹음된 음성에 집중되어 있어, 저자원 환경에서 음성-LLM 방법론의 적용 범위를 제한하고 있다. 본 논문은 텍스트 음성 변환(TTS)이 대규모 인간 녹음 QA 코퍼스 없이도 룩셈부르크어 SQA를 위한 태스크 특화 학습 데이터를 제공할 수 있는지 탐구한다. 기존 텍스트 기반 QA 자료를 출발점으로, 질문을 룩셈부르크어로 번역하고 다수의 TTS 시스템으로 음성 질문을 합성한 후 텍스트 답변과 쌍으로 구성한다. 우리는 학습된 프로젝터와 LoRA 어댑터를 통해 고정된 Whisper 인코더를 고정된 다국어 LLM 백엔드에 연결하는 매개변수 효율적인 SLAM 스타일 아키텍처를 학습시킨다. MMS-TTS, Qwen3-TTS, OmniVoice 변형을 비교하며, 약 48k 질문의 단일 출처 코퍼스와 약 230k 질문의 4TTS 다중 출처 혼합 데이터를 포함한다. 두 가지 실제 룩셈부르크어 화자 조건으로 구성된 LLAMA-LB-Test에서의 평가 결과, 다중 출처 및 음성 디자인 기반 합성 학습 구성이 가장 우수한 SQA 성능을 보인다. 또한 참조 없는 TTS 품질 점수가 다운스트림 QA 성능을 단조롭게 예측하지 않음을 보여주며, 이는 합성 음성을 자연스러운 오디오로서만이 아니라 태스크 특화 학습 데이터로 평가해야 함을 시사한다.

arXiv:2606.30491v1cs.CL공통 태그 Data Augmentation, Speech Synthesis

SIMAX: 다중 충실도 및 주석 기반 임상의-환자 대화 시뮬레이션을 위한 확장 가능하고 해석 가능한 프레임워크

SIMAX: A Scalable and Interpretable Framework for Multi-Fidelity and Annotated Clinician-Patient Dialogue Simulation

배경. 주변 디지털 스크라이브(ambient digital scribe)의 광범위한 배포로 임상의-환자 대화의 대규모 수집이 촉진되고 있다. 임상 커뮤니케이션 데이터에 대한 인간 코딩은 비용이 많이 들고 일관성이 낮으며 확장이 어려워, AI 기반 커뮤니케이션 코딩 시스템의 필요성이 대두되고 있다. 그러나 이러한 시스템을 평가하려면 실제 대화와 인간이 레이블링한 데이터가 필요하며, 두 가지 모두 대규모로 확보하기 어렵다. 방법. 우리는 참조 행동 주석(reference behavioral annotation)이 포함된 통제된 임상 대화 데이터를 생성하기 위한 프레임워크인 SIMAX(Scalable and Interpretable Framework for Multi-Fidelity and Annotated Clinician-Patient Dialogue Simulation)를 개발하였다. SIMAX는 사전 정의된 임상 시나리오, 페르소나(persona), 음성 조건, 그리고 목표 커뮤니케이션 행동으로부터 임상의-환자 대화를 생성한다. 행동 제어는 두 가지 코드북을 사용하여 수행된다: 전반적인 커뮤니케이션 품질을 위한 Global Codebook과 특정 계산 가능한 행동을 위한 WISER Codebook. 우리는 자동화 및 인간 품질 평가와 예시 커뮤니케이션 코딩 시스템을 통해 SIMAX를 평가하였다. 결과. SIMAX는 세 가지 전문과(specialty), 다양한 방문 단계, 페르소나 특성, 억양 조건에 걸쳐 3,388개의 시뮬레이션 대화를 생성하였다. 자동화 평가에서 UTMOS 및 WV-MOS 평균 점수는 각각 3.03과 2.61, WER 및 CER은 0.07과 0.05, CLAP 코사인 유사도는 0.41로 나타나, 합리적인 음성 자연스러움, 높은 전사(transcription) 충실도, 그리고 긍정적인 텍스트-오디오 대응을 시사한다. 인간 평가에서는 MOS 중앙값 4.67, 임상적 현실성 점수 중앙값 3.00이 측정되었다. 다운스트림 평가 결과, SIMAX는 커뮤니케이션 코딩 시스템이 행동 목표에 어떻게 반응하는지 평가하고 일부 차원에서의 민감도 부족을 드러낼 수 있음을 보여준다. 결론. SIMAX는 통제되고 재현 가능한 시뮬레이션 임상의-환자 대화를 생성하여, 커뮤니케이션 코딩 시스템의 개발, 검증 및 개선을 위한 데이터 기반을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.