arXiv:2012.13004

Speech Synthesis as Augmentation for Low-Resource ASR

Deblin Bagchi, Shannon Wotherspoon, Zhuolin Jiang, Prasanna Muthukumar

제출 2020-12-23

원문 초록

Speech synthesis might hold the key to low-resource speech recognition. Data augmentation techniques have become an essential part of modern speech recognition training. Yet, they are simple, naive, and rarely reflect real-world conditions. Meanwhile, speech synthesis techniques have been rapidly getting closer to the goal of achieving human-like speech. In this paper, we investigate the possibility of using synthesized speech as a form of data augmentation to lower the resources necessary to build a speech recognizer. We experiment with three different kinds of synthesizers: statistical parametric, neural, and adversarial. Our findings are interesting and point to new research directions for the future.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Data Augmentation, speech-recognition, Speech Recognition, Speech Synthesis

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.08409v1cs.CL공통 태그 speech-recognition, Speech Recognition, Speech Synthesis

합성 음성만 있을 때: GRPO를 선택하라

When Synthetic Speech Is All You Have: Better Call GRPO

은행과 같은 규제 도메인에 적응된 대규모 언어 모델(LLM) 기반 자동 음성 인식(ASR)은 프라이버시 문제로 인해 병목이 발생한다: 실제 음성은 수집 비용이 높고 법적 제약이 따르기 때문에, 합성 텍스트 음성 변환(TTS)이 매력적인 대안으로 부상한다. 그러나 합성 음성은 실제 녹음과 음향적으로 불일치한 상태를 유지하며, 이 간극을 다루는 연구는 지도 미세조정(SFT) 범위 내에 머물러 있었다. 우리는 대신 강화학습으로 전환하여, Group Relative Policy Optimization(GRPO)이 동일한 합성 음성으로부터 SFT보다 훨씬 많은 성능을 이끌어냄을 보인다. 낮은 단어 오류율(WER) 가설을 보상하는 크리틱 없는(critic-free) 방법인 GRPO를 이용해 합성 음성만으로 모델을 적응시키면 SFT 대비 WER이 40% 상대적으로 감소하며(36.71%→22.09%), SFT 후 GRPO를 결합하면 이를 45%까지 더 향상시킨다. 우리는 이 향상이 표현(representation)보다 행동(behavior)에 기인함을 규명한다: GRPO는 정지 보정(stopping calibration)을 개선하여 삽입 오류를 줄이고, 어텐션을 오디오에 더 잘 고정시킴으로써 음성-텍스트 정렬을 향상시키며, 초기 층 표현은 그대로 유지한다. 합성 음성이 주된 자원일 때, 강화학습이 지도 미세조정보다 선호되어야 한다.

arXiv:2607.06540v5cs.CL공통 태그 Speech Recognition, Speech Synthesis

계층적 음향-의미 모델링: 완전 이중 통화 음성 언어 모델을 위한 모달리티 분리와 의미 일관성

Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs

원활하고 고성능인 네이티브 지능형 완전 이중 통화(full-duplex) 음성 언어 모델(SLM)을 개발하는 것은 음성 및 자연어 처리(NLP) 커뮤니티에서 오랫동안 해결되지 않은 핵심 과제이다. 주목할 만한 진전에도 불구하고, 최근의 시도들은 심각한 모달리티 간섭(modality interference)이라는 근본적인 제약에 직면해 있으며, 이는 상당한 지식 손실과 의미 무결성 훼손을 초래함으로써 완전 이중 통화 SLM이 부자연스럽고 지능적이지 않게 느껴지게 만든다. 본 논문에서는 모델 최적화 동역학에 대한 철저하고 세분화된 분석을 통해 이러한 성능 저하의 근본 원인을 규명하고, 모달리티 간섭이 두 모달리티가 깊은 매개변수 공간을 공유하도록 강제될 때 음향 모델링과 의미 모델링 간의 내재적 그래디언트 충돌에서 발생함을 밝혀낸다. 이 핵심 통찰을 바탕으로, 모달리티 간섭을 완화하도록 설계된 네이티브 엔드-투-엔드 완전 이중 통화 프레임워크인 Lychee-FD를 소개한다. 특히, 심층 레이어에서 충돌하는 모달리티를 분리하면서도 전용 의미 정렬 채널을 통해 교차 모달리티 일관성을 유지하는 계층적 매개변수 분리 전략을 제안한다. 다수의 완전 이중 통화 벤치마크에 대한 광범위한 실험을 통해, 본 방법이 추론 효율성을 저해하지 않으면서 음성 지능(Spoken QA에서 +7.4%) 및 완전 이중 통화 상호작용 유창성(FullDuplexBench 1.5에서 +28.5%) 모두에서 상당한 향상을 이끌어내며 최고 수준을 크게 향상시킴을 입증한다. 본 연구는 두 가지 핵심 성과를 최초로 달성한 것으로 본다: 1) 완전 이중 통화 SLM에서 모달리티 간섭의 근본 원인을 밝히고 규명한 것, 2) 원활하고 고성능인 네이티브 지능형 완전 이중 통화 SLM을 위한 우아한 계층적 모델과 실용적 해결책을 설계한 것.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.