STC Speaker Recognition Systems for the VOiCES From a Distance Challenge
원문 초록
This paper presents the Speech Technology Center (STC) speaker recognition (SR) systems submitted to the VOiCES From a Distance challenge 2019. The challenge's SR task is focused on the problem of speaker recognition in single channel distant/far-field audio under noisy conditions. In this work we investigate different deep neural networks architectures for speaker embedding extraction to solve the task. We show that deep networks with residual frame level connections outperform more shallow architectures. Simple energy based speech activity detector (SAD) and automatic speech recognition (ASR) based SAD are investigated in this work. We also address the problem of data preparation for robust embedding extractors training. The reverberation for the data augmentation was performed using automatic room impulse response generator. In our systems we used discriminatively trained cosine similarity metric learning model as embedding backend. Scores normalization procedure was applied for each individual subsystem we used. Our final submitted systems were based on the fusion of different subsystems. The results obtained on the VOiCES development and evaluation sets demonstrate effectiveness and robustness of the proposed systems when dealing with distant/far-field audio under noisy conditions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
오류율만으로는 충분하지 않다: 저자원 음성 인식에서 데이터 증강의 비용
Error Rate is Not Enough: Costs of Augmentation in Low-Resource ASR
데이터 증강(data augmentation)은 저자원 자동 음성 인식(ASR)의 표준적인 관행이지만, 그 이점은 거의 항상 종합 오류율로만 보고되어 특정 방법이 왜, 그리고 언제 도움이 되는지는 불분명한 상태로 남아 있습니다. 본 연구에서는 4개의 저자원 언어와 5가지 데이터 규모의 영어를 대상으로 기존 오디오를 수정하는 두 가지 증강 기법(속도 섭동(speed perturbation) 및 SpecAugment)과 텍스트 전사본을 수정한 후 오디오를 합성하는 두 가지 기법을 교차 적용했습니다. 음소 수준에서 오류를 분석한 결과, 이들 방법이 상호보완적인 이유로 도움이 된다는 점을 발견했습니다. SpecAugment는 가장 안정적인 종합 성능 향상을 보였으나 성조 및 구개음화 오류를 증가시켰고, 텍스트 기반 방법은 자음 삽입 오류를 유발했습니다. 결합 시 각 방법은 상대방이 유발한 오류를 줄여줍니다. 이러한 상호보완성은 예측 가능합니다. 성조와 구개음화는 각각 단일 음향 속성으로 신호화되며 학습 시 가장 낮은 빈도로 발생(가장 낮은 학습 노출도)하는데, 단어 빈도를 평탄화(flatten)하는 텍스트 기반 방법은 이들의 빈도를 37~38% 높여 종합 오류를 더욱 개선하는 동시에 해당 오류를 되돌립니다. 방법들을 결합하여 얻은 성능 향상은 개별 개선점들의 합을 초과하지만, 이러한 초부가성(superadditivity)은 100시간 규모에서 사라져 상호보완성이 저자원 영역에 국한됩니다. 특정 오류 유형이 중요한 경우, 학습 전 측정이 가능한 학습 노출도와 음향 속성에 따라 데이터 증강 기법을 선택할 것을 권장합니다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
MABLE: 임베딩 및 그래프 메트릭 학습을 위한 양방향 립시츠 디코딩을 적용한 마스크드 오토인코딩
MABLE: Masked Autoencoding with Bi-Lipschitz Decoding for Embeddings and Graph Metric Learning
우리는 대규모 이종 그래프에서 노드 및 그래프 임베딩을 학습하기 위한 자기지도 프레임워크인 MABLE(Masked Autoencoding with Bi-Lipschitz Decoding for Embeddings and Graph Metric Learning)을 제안하며, 여기서는 지리공간 광물 탐험 데이터를 대상으로 이를 실증한다. MABLE은 마스크 재구성과, 매칭된 증강 뷰를 정렬하면서 동시에 쌍을 이루지 않는 임베딩을 충분히 분산시키는 고정된 코사인 유사도 손실을 결합한다. 양방향 립시츠 특징 디코더는 각 노드 임베딩의 저차원 재구성 구성요소를 특징 유사도와 결부시키고, 매칭된 노드 일관성은 그래프 풀링에 사용되는 나머지 컨텍스트를 형성한다. 립시츠 제어 풀링은 유지된 노드 임베딩의 섭동 하에서 그래프 수준 표현의 안정화를 돕고, 증강 정렬은 마스킹, 노드 드롭, 샘플링 변이에 대한 강건성을 학습시킨다. 지역 구리 및 광역 아라비안 실드(Arabian Shield) 연구에 걸쳐, MABLE 임베딩은 보완적인 다운스트림 신호를 제공하고, 학습된 판별자나 하드 네거티브 선택 없이 가설 생성을 위한 일관된 임베딩 기반 레이어를 생성한다.
LuxSQA: TTS 증강 음성 질의응답으로 룩셈부르크어로 질문하기
LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering
음성 질의응답(SQA)은 여전히 고자원 언어와 정밀하게 녹음된 음성에 집중되어 있어, 저자원 환경에서 음성-LLM 방법론의 적용 범위를 제한하고 있다. 본 논문은 텍스트 음성 변환(TTS)이 대규모 인간 녹음 QA 코퍼스 없이도 룩셈부르크어 SQA를 위한 태스크 특화 학습 데이터를 제공할 수 있는지 탐구한다. 기존 텍스트 기반 QA 자료를 출발점으로, 질문을 룩셈부르크어로 번역하고 다수의 TTS 시스템으로 음성 질문을 합성한 후 텍스트 답변과 쌍으로 구성한다. 우리는 학습된 프로젝터와 LoRA 어댑터를 통해 고정된 Whisper 인코더를 고정된 다국어 LLM 백엔드에 연결하는 매개변수 효율적인 SLAM 스타일 아키텍처를 학습시킨다. MMS-TTS, Qwen3-TTS, OmniVoice 변형을 비교하며, 약 48k 질문의 단일 출처 코퍼스와 약 230k 질문의 4TTS 다중 출처 혼합 데이터를 포함한다. 두 가지 실제 룩셈부르크어 화자 조건으로 구성된 LLAMA-LB-Test에서의 평가 결과, 다중 출처 및 음성 디자인 기반 합성 학습 구성이 가장 우수한 SQA 성능을 보인다. 또한 참조 없는 TTS 품질 점수가 다운스트림 QA 성능을 단조롭게 예측하지 않음을 보여주며, 이는 합성 음성을 자연스러운 오디오로서만이 아니라 태스크 특화 학습 데이터로 평가해야 함을 시사한다.
아동 읽기 학습 및 평가를 위한 자동 음성 인식 솔루션 구축
Building an ASR Solution for Training and Assessing Children's Reading
아동 읽기를 위한 자동 음성 인식(ASR)은 Bambara를 포함한 대부분의 아프리카 언어에서 재현 가능한 문해력 평가에 잠재적 가치가 있음에도 불구하고 아직 충분히 발전하지 못한 상태다. 본 논문은 현장 데이터 수집, 벤치마크 구축, 모델 적응, 읽기 애플리케이션, 교실 검증을 연결하는 엔드투엔드 프로세스를 통해 개발된 Bambara 아동 읽기 평가용 오픈소스 시스템을 제시한다. 모바일 수집 및 평가 앱을 사용하여 60명의 아동으로부터 55시간 분량의 원시 읽기 음성을 수집하였으며, 이를 바탕으로 Bambara 아동 읽기 평가를 위한 공개 벤치마크를 구축하였다. 미세조정 실험에서는 TDT 및 CTC 디코더를 갖춘 Bambara 적응형 Fast-Conformer ASR 프레임워크인 Soloni와 컴팩트한 합성곱 ASR 아키텍처인 QuartzNet을 비교하였다. 최적의 Soloni 모델은 단어 오류율(WER)을 0.42에서 0.22로, 문자 오류율(CER)을 0.15에서 0.08로 감소시켜 고립 벤치마크에서 QuartzNet을 크게 능가하였다. 실험 결과, 동일 텍스트의 반복 읽기는 아키텍처에 따라 상이한 효과를 보였는데, QuartzNet의 성능은 크게 향상된 반면 Soloni에는 미미한 향상만을 가져왔으며, SpecAugment는 최선의 비증강 구성을 초과하지 않는 범위 내에서 학습을 조절하였다. 세분화된 분석에서는 10세 미만 아동이 잔류 오류의 주요 원인으로 확인되어 저연령 독자 대상의 집중적 데이터 수집의 필요성이 제기되었다. 10회의 교실 실험을 통해 애플리케이션의 지속 활용 가능성이 확인되었다.
Transformer Based Punctuation Restoration for Turkish
토론
이 논문과 연결된 포럼 글이 아직 없습니다.