arXiv:2111.02674

Voice Conversion Can Improve ASR in Very Low-Resource Settings

Matthew Baas, Herman Kamper

제출 2021-11-04

원문 초록

Voice conversion (VC) could be used to improve speech recognition systems in low-resource languages by using it to augment limited training data. However, VC has not been widely used for this purpose because of practical issues such as compute speed and limitations when converting to and from unseen speakers. Moreover, it is still unclear whether a VC model trained on one well-resourced language can be applied to speech from another low-resource language for the aim of data augmentation. In this work we assess whether a VC system can be used cross-lingually to improve low-resource speech recognition. We combine several recent techniques to design and train a practical VC system in English, and then use this system to augment data for training speech recognition models in several low-resource languages. When using a sensible amount of VC augmented data, speech recognition performance is improved in all four low-resource languages considered. We also show that VC-based augmentation is superior to SpecAugment (a widely used signal processing augmentation method) in the low-resource languages considered.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Data Augmentation, speech-recognition, Speech Recognition

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2606.31508v1cs.CL공통 태그 Data Augmentation, speech-recognition, Speech Recognition

아동 읽기 학습 및 평가를 위한 자동 음성 인식 솔루션 구축

Building an ASR Solution for Training and Assessing Children's Reading

아동 읽기를 위한 자동 음성 인식(ASR)은 Bambara를 포함한 대부분의 아프리카 언어에서 재현 가능한 문해력 평가에 잠재적 가치가 있음에도 불구하고 아직 충분히 발전하지 못한 상태다. 본 논문은 현장 데이터 수집, 벤치마크 구축, 모델 적응, 읽기 애플리케이션, 교실 검증을 연결하는 엔드투엔드 프로세스를 통해 개발된 Bambara 아동 읽기 평가용 오픈소스 시스템을 제시한다. 모바일 수집 및 평가 앱을 사용하여 60명의 아동으로부터 55시간 분량의 원시 읽기 음성을 수집하였으며, 이를 바탕으로 Bambara 아동 읽기 평가를 위한 공개 벤치마크를 구축하였다. 미세조정 실험에서는 TDT 및 CTC 디코더를 갖춘 Bambara 적응형 Fast-Conformer ASR 프레임워크인 Soloni와 컴팩트한 합성곱 ASR 아키텍처인 QuartzNet을 비교하였다. 최적의 Soloni 모델은 단어 오류율(WER)을 0.42에서 0.22로, 문자 오류율(CER)을 0.15에서 0.08로 감소시켜 고립 벤치마크에서 QuartzNet을 크게 능가하였다. 실험 결과, 동일 텍스트의 반복 읽기는 아키텍처에 따라 상이한 효과를 보였는데, QuartzNet의 성능은 크게 향상된 반면 Soloni에는 미미한 향상만을 가져왔으며, SpecAugment는 최선의 비증강 구성을 초과하지 않는 범위 내에서 학습을 조절하였다. 세분화된 분석에서는 10세 미만 아동이 잔류 오류의 주요 원인으로 확인되어 저연령 독자 대상의 집중적 데이터 수집의 필요성이 제기되었다. 10회의 교실 실험을 통해 애플리케이션의 지속 활용 가능성이 확인되었다.

arXiv:2607.01733v2cs.CL공통 태그 speech-recognition, Speech Recognition

ASR을 위한 Speech-LLM 통합의 재고: 인터리빙을 통한 효과적인 음성-텍스트 공동 학습

Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving

음성-LLM(Speech-LLM) 통합은 방대한 텍스트 사전학습(pre-training)을 활용하여 유망한 결과를 보여주었으나, 자동 음성 인식(ASR)에 대한 구체적인 이점은 여전히 불분명하다. 본 연구에서는 지도 ASR 학습(training) 데이터가 증가함에 따라 LLM 사전확률(prior)의 기여도가 덜 뚜렷해지며, 단순한 음성-텍스트 공동 학습은 텍스트 지식을 충분히 활용하지 못한다는 점을 관찰하였다. 이에 따라 연속적인 입력을 수용하는 Speech-LLM 아키텍처를 위해 정렬된 쌍 내에서 단어 및 세그먼트 수준의 음성-텍스트 인터리빙(interleaved) 시퀀스를 구성하는 ASR 지향 사전학습 전략인 JSTIP(Joint Speech-Text Interleaved Pretraining)을 제안한다. 38,000시간의 ASR 데이터에 대한 실험 결과, ASR 전용 및 음성-텍스트 공동 학습 베이스라인 대비 일관된 개체명(entity) 정확도 향상을 보였다. JSTIP은 합성 음성-텍스트 쌍과 비교하여 도메인 전사 텍스트를 사용할 때 동등한 수준의 개체명 인식 성능을 달성하여 도메인 적응을 단순화한다. 텍스트 사전학습 및 도메인 텍스트 데이터의 이점을 바탕으로, JSTIP은 의료 개체명 인식에서 오픈소스 ASR 및 Speech-LLM 시스템과 경쟁력 있는 성능을 보인다. 나아가 제로샷(zero-shot) 음성 질의응답 양상은 인터리빙이 음성-텍스트 모달리티 간극을 줄이고 LLM의 생성적 사전확률을 보존함을 시사하며, 이는 ASR 태스크에서 개체명 성능이 향상된 이유일 가능성이 높다.

arXiv:2609.24688v1cs.SD공통 태그 Speech Recognition, Voice Conversion

ECAPA-TDNN 임베딩의 초구면 기하 이해와 제로샷 음성 변환에 미치는 영향

Understanding Hyperspherical Geometry of ECAPA-TDNN Embedding and Its Impact on Zero-Shot Voice Conversion

각도 마진(angular-margin) 화자 인코더는 음성 변환에 널리 쓰이지만, 분류기 프로토타입(classifier prototype)의 기하는 여전히 잘 알려져 있지 않다. 본 연구는 ECAPA-TDNN 분류기 프로토타입을 단위 초구면(unit hypersphere) 위의 점으로 분석하고, 회전 불변(rotation-invariant) 각 통계와 전역·지역 유효 차원(effective dimensionality) 지표를 함께 사용해 그 배치를 특성화한다. 분석 결과, 표준 학습(training)은 각 집중(angular concentration)과 유효 차원의 큰 폭 감소를 유발할 수 있음을 보인다. 이에 대응해, 분류기 프로토타입에 더 균일한 초구면(hyperspherical) 커버리지를 유도하기 위해 두 가지 기하적 정규ization(regularization) 전략(hinged Riesz log-energy, 유효 차원 최대화)을 적용해 조사한다. 그 결과 프로토타입 집합은 더 높은 유효 차원과 개선된 등방성(isotropy)을 보이며, 화자 인식(speaker recognition) 성능에는 구성에 따른 영향이 있다. 해당 ECAPA-TDNN 모델을 Fast-VGAN의 화자 인코더로 사용할 때, 정규화된 시스템은 제로샷 음성 변환(zero-shot voice conversion)에서도 견고성이 향상되며, 특히 이전에 보지 못한 화자에서 두드러진다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.