arXiv:2204.01387

Anti-Spoofing Using Transfer Learning with Variational Information Bottleneck

Youngsik Eom, Yeonghyeon Lee, Ji Sub Um, Hoirin Kim

제출 2022-04-04

원문 초록

Recent advances in sophisticated synthetic speech generated from text-to-speech (TTS) or voice conversion (VC) systems cause threats to the existing automatic speaker verification (ASV) systems. Since such synthetic speech is generated from diverse algorithms, generalization ability with using limited training data is indispensable for a robust anti-spoofing system. In this work, we propose a transfer learning scheme based on the wav2vec 2.0 pretrained model with variational information bottleneck (VIB) for speech anti-spoofing task. Evaluation on the ASVspoof 2019 logical access (LA) database shows that our method improves the performance of distinguishing unseen spoofed and genuine speech, outperforming current state-of-the-art anti-spoofing systems. Furthermore, we show that the proposed system improves performance in low-resource and cross-dataset settings of anti-spoofing task significantly, demonstrating that our system is also robust in terms of data size and data distribution.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22923v1cs.CL공통 태그 Transfer Learning, Speaker Verification

단순한 언어 정규화의 승리: TidyVoice 2026 챌린지를 위한 교차 언어 화자 검증

Simple Language Normalization Wins: Cross-Lingual Speaker Verification for the TidyVoice 2026 Challenge

교차 언어 불일치는 현대 화자 검증에서 전체 성능 저하의 주요 원인으로 남아 있다. TidyVoice2026 챌린지는 텍스트 독립적 검증으로 이 설정을 대상으로 하며, 40개 언어에서 3,666명의 학습 및 808명의 개발 화자, 그리고 테스트 시점에 언어 레이블 없이 38개의 미공개 언어에서 2,200명의 평가 화자로 구성된다. VoxBlink2와 VoxCeleb2에서 사전학습(pre-training)되고 TidyVoice에서 파인튜닝(fine-tuning)된 공식 SimAM-ResNet34 기준선에서 출발하여, 우리는 임베딩 공간에서 단순한 언어 정규화 단계로서 Nuisance Attribute Projection(NAP)을 재검토한다. 우리는 교차 언어 동일 화자 차이로부터 compact한 언어 부분공간을 추정하고, Adaptive Symmetric score 정규화(AS-Norm)를 적용한 코사인 점수 산출 전에 임베딩을 그 직교 보공간에 투영한다. 이는 코사인 점수로 2.97%, AS-Norm으로 2.70%였던 개발 EER을 2.18%로 낮추고 Codabench 평가 점수 8.40을 달성하여, 단순한 백엔드 언어 정규화가 더 복잡한 시스템과 견줄 수 있음을 보여준다.

arXiv:2607.22304v1cs.LG공통 태그 Transfer Learning, text-to-speech

합성 음성, 실제 신호: 음성 복제를 통한 초언어적 보존 및 교차언어 증강

Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning

음성 분야에서 합성 데이터 증강은 ASR과 같은 언어학적 과제에 흔히 사용되지만, 초언어적 과제, 특히 라벨링된 데이터가 비용이 많이 들고 일부 환자 집단이 과소 대표되는 임상 과제에서는 연구가 훨씬 적다. 음성 복제(voice cloning)는 이러한 증강 접근법 중 하나이지만, 일반적으로 하위 과제 성능이 아닌 음성 명료도(WER)나 화자 유사도(SS)로 평가되며, 이러한 지표가 해당 과제가 의존하는 초언어적 신호를 보존하는지는 여전히 불분명하다. 우리는 공개 및 임상 데이터셋에서 다섯 가지 초언어적 과제에 대해 여덟 개의 음성 복제 모델을 벤치마크했으며, 대부분이 적당한 저하 수준으로 신호를 보존함을 보였다. 그런 다음 영어 임상 음성을 일본어로 복제하고, 복제 데이터로 학습하는 것이 실제 일본어 음성에 대한 우울증 및 불안 탐지에서 순수 교차언어 전이보다 우수함을 발견했으며, 이는 음성 복제가 저자원 언어에서 임상 음성 데이터를 증강하는 유망한 방향임을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.