arXiv:2203.15095

Robust Speaker Recognition with Transformers Using wav2vec 2.0

Sergey Novoselov, Galina Lavrentyeva, Anastasia Avdeeva, Vladimir Volokhov, Aleksei Gusev

제출 2022-03-28

원문 초록

Recent advances in unsupervised speech representation learning discover new approaches and provide new state-of-the-art for diverse types of speech processing tasks. This paper presents an investigation of using wav2vec 2.0 deep speech representations for the speaker recognition task. The proposed fine-tuning procedure of wav2vec 2.0 with simple TDNN and statistic pooling back-end using additive angular margin loss allows to obtain deep speaker embedding extractor that is well-generalized across different domains. It is concluded that Contrastive Predictive Coding pretraining scheme efficiently utilizes the power of unlabeled data, and thus opens the door to powerful transformer-based speaker recognition systems. The experimental results obtained in this study demonstrate that fine-tuning can be done on relatively small sets and a clean version of data. Using data augmentation during fine-tuning provides additional performance gains in speaker verification. In this study speaker recognition systems were analyzed on a wide range of well-known verification protocols: VoxCeleb1 cleaned test set, NIST SRE 18 development set, NIST SRE 2016 and NIST SRE 2019 evaluation set, VOiCES evaluation set, NIST 2021 SRE, and CTS challenges sets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02517v1cs.LG공통 태그 Data Augmentation, Representation Learning

잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법

Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation

그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.

arXiv:2609.27195v1cs.SD공통 태그 Representation Learning, Speaker Verification

방보다 더 조용하게: 음성 인코더의 표현 드리프트와 태스크 견고성

Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders

비음성 간섭은 그에 상응하는 태스크 성능 저하 없이도 음성 표현을 변화시킬 수 있다. 우리는 고정된(frozen) 인코더 8개를 4가지 태스크에서 시험하며, 녹음 전체에 걸쳐, 발화 중에, 또는 휴지(pause) 구간에 비음성 소리를 추가한다. 녹음 전체에 간섭을 가한 경우, 임베딩 드리프트(embedding drift)는 7가지 소리에 걸쳐 태스크 손실과 함께 변하며, 평균 스피어만 상관계수는 0.81-0.88이다. 동일한 소리를 발화 구간과 휴지 구간 사이에서 옮기면 이러한 양상이 달라진다. 조용한 수준에서 중간 수준의 간섭에서는 휴지 구간 간섭이 더 큰 드리프트를 일으키는 반면, 발화 구간 간섭은 의도 인식, 화자 검증, 음성 인식에서 대체로 더 큰 손실을 초래한다. 감정 인식에서는 삽입 위치의 효과가 더 약하게 나타난다. 또한 휴지 구간 간섭은 간섭이 삽입된 구간을 넘어 음성 프레임 표현까지 변화시킨다. 추정된 녹음 배경 소음 수준보다 낮은 간섭이라 하더라도, 반복 발화 녹음(repeated speech takes) 사이의 차이만큼 임베딩을 크게 변화시킬 수 있다. 드리프트는 서로 다른 소리가 미치는 영향의 순위를 매기는 데에는 도움이 되지만, 더 큰 드리프트가 항상 더 큰 태스크 손실을 의미하는 것은 아니다.

arXiv:2609.28471v1cs.CL공통 태그 Data Augmentation, Representation Learning

저작자 검증을 위한 대조 학습

Contrastive Learning for Authorship Verification

우리 결과는 테스트된 설정에서 저작자 검증에 대한 분류 기반 접근법보다 대조 학습이 더 우수한 성능을 보임을 나타낸다. 손실 함수, 배치 크기, 학습 기간, 사전학습 모델, 입력 컨텍스트 길이, 무작위 텍스트 구간 데이터 증강을 모델 성능의 중요한 요인으로 확인했다. 이러한 고려사항을 바탕으로 PAN21 저작자 검증 태스크에서 98.4% 정확도를 달성하는 ModernBERT Bi-Encoder 모델을 개발했다.

arXiv:2609.25007v1eess.AS공통 태그 Representation Learning, Speaker Verification

짧은 구간을 넘어서: 벡터 아카이브로 화자 임베딩 확장

Beyond Short Segments : Expanding Speaker Embeddings with Vector Archives

최신 화자 검증(SV) 시스템은 짧은 발화에서는 화자 고유 정보가 부족해 성능이 크게 저하된다. 이 문제에 대응하기 위해, 짧은 길이 음성에서 특징 추출을 강화하도록 설계한 Vector Archive Mapping ECAPA(VAM-ECAPA)라는 새로운 시스템을 제안한다. 본 시스템의 핵심은 트랜스포머 기반 Vector Archive Mapping with Statistical Pooling(TVAMSP) 모듈로, 정보가 빈약한 특징을 학습 가능한 표준 화자 특성 Vector Archive에 매핑하여 풍부하게 만든다. TVAMSP 모듈을 강력한 WavLM+ECAPA-TDNN 기준선에 통합함으로써, 짧은 구간의 희소 특징을 견고하고 판별력 있는 화자 표현으로 매핑하도록 학습한다. VoxCeleb1 벤치마크 실험에서 제안 VAM-ECAPA는 1초 테스트 구간에서 EER 8.334%라는 매우 경쟁력 있는 성능을 달성했으며, 이는 관례적으로 학습한 기준선 대비 상대 오류 54.8% 감소에 해당한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.