arXiv:2204.12765

Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?

Sanyuan Chen, Yu Wu, Chengyi Wang, Shujie Liu, Zhuo Chen, Peidong Wang, Gang Liu, Jinyu Li, Jian Wu, Xiangzhan Yu, Furu Wei

제출 2022-04-27

원문 초록

Recently, self-supervised learning (SSL) has demonstrated strong performance in speaker recognition, even if the pre-training objective is designed for speech recognition. In this paper, we study which factor leads to the success of self-supervised learning on speaker-related tasks, e.g. speaker verification (SV), through a series of carefully designed experiments. Our empirical results on the Voxceleb-1 dataset suggest that the benefit of SSL to SV task is from a combination of mask speech prediction loss, data scale, and model size, while the SSL quantizer has a minor impact. We further employ the integrated gradients attribution method and loss landscape visualization to understand the effectiveness of self-supervised learning for speaker recognition performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25007v1eess.AS공통 태그 Self-Supervised Learning, Speech Recognition, Speaker Verification

짧은 구간을 넘어서: 벡터 아카이브로 화자 임베딩 확장

Beyond Short Segments : Expanding Speaker Embeddings with Vector Archives

최신 화자 검증(SV) 시스템은 짧은 발화에서는 화자 고유 정보가 부족해 성능이 크게 저하된다. 이 문제에 대응하기 위해, 짧은 길이 음성에서 특징 추출을 강화하도록 설계한 Vector Archive Mapping ECAPA(VAM-ECAPA)라는 새로운 시스템을 제안한다. 본 시스템의 핵심은 트랜스포머 기반 Vector Archive Mapping with Statistical Pooling(TVAMSP) 모듈로, 정보가 빈약한 특징을 학습 가능한 표준 화자 특성 Vector Archive에 매핑하여 풍부하게 만든다. TVAMSP 모듈을 강력한 WavLM+ECAPA-TDNN 기준선에 통합함으로써, 짧은 구간의 희소 특징을 견고하고 판별력 있는 화자 표현으로 매핑하도록 학습한다. VoxCeleb1 벤치마크 실험에서 제안 VAM-ECAPA는 1초 테스트 구간에서 EER 8.334%라는 매우 경쟁력 있는 성능을 달성했으며, 이는 관례적으로 학습한 기준선 대비 상대 오류 54.8% 감소에 해당한다.

arXiv:2607.10371v1eess.AS공통 태그 Self-Supervised Learning, speech-recognition, Speech Recognition

GigaAM Multilingual: 저자원 언어를 위한 파운데이션 모델

GigaAM Multilingual: Foundation Model for Underrepresented Languages

최근의 스케일링 성공에도 불구하고, 다국어 자동 음성 인식(ASR) 성능은 여전히 매우 불균등하며, 롱테일 언어들은 심각한 데이터 부족 문제를 겪고 있다. 본 연구는 저자원 중앙아시아 언어(카자흐어, 키르기스어, 우즈베크어)를 위한 강건한 파운데이션 모델 구축의 과제를 다룬다. 우리는 HuBERT 방식의 목표 함수를 사용하여 200만 시간의 오디오로 사전학습된 Conformer 인코더인 GigaAM Multilingual을 제안한다. 핵심적으로, 고자원 언어 편향을 완화하기 위해 사전학습 단계에서 클러스터 수준의 데이터 균형 전략을, 미세조정 단계에서 도메인 인식 샘플링 방법을 도입한다. 통제된 비교 실험에서, 우리의 접근법은 타겟 언어에 대해 강력한 공개 사전학습 인코더(Whisper Large v3, Omnilingual-1B)를 능가하며, 효율성을 유지하면서 자발화에서 상당한 성능 향상을 달성한다. 우리는 파운데이션 인코더와 ASR 모델을 공개하여, 현실적인 데이터 불균형 환경에서의 효과적인 다국어 적응을 위한 검증된 레시피를 제공한다.

arXiv:2609.27195v1cs.SD공통 태그 Speech Recognition, Speaker Verification

방보다 더 조용하게: 음성 인코더의 표현 드리프트와 태스크 견고성

Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders

비음성 간섭은 그에 상응하는 태스크 성능 저하 없이도 음성 표현을 변화시킬 수 있다. 우리는 고정된(frozen) 인코더 8개를 4가지 태스크에서 시험하며, 녹음 전체에 걸쳐, 발화 중에, 또는 휴지(pause) 구간에 비음성 소리를 추가한다. 녹음 전체에 간섭을 가한 경우, 임베딩 드리프트(embedding drift)는 7가지 소리에 걸쳐 태스크 손실과 함께 변하며, 평균 스피어만 상관계수는 0.81-0.88이다. 동일한 소리를 발화 구간과 휴지 구간 사이에서 옮기면 이러한 양상이 달라진다. 조용한 수준에서 중간 수준의 간섭에서는 휴지 구간 간섭이 더 큰 드리프트를 일으키는 반면, 발화 구간 간섭은 의도 인식, 화자 검증, 음성 인식에서 대체로 더 큰 손실을 초래한다. 감정 인식에서는 삽입 위치의 효과가 더 약하게 나타난다. 또한 휴지 구간 간섭은 간섭이 삽입된 구간을 넘어 음성 프레임 표현까지 변화시킨다. 추정된 녹음 배경 소음 수준보다 낮은 간섭이라 하더라도, 반복 발화 녹음(repeated speech takes) 사이의 차이만큼 임베딩을 크게 변화시킬 수 있다. 드리프트는 서로 다른 소리가 미치는 영향의 순위를 매기는 데에는 도움이 되지만, 더 큰 드리프트가 항상 더 큰 태스크 손실을 의미하는 것은 아니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.