arXiv:2405.09470

Towards Evaluating the Robustness of Automatic Speech Recognition Systems via Audio Style Transfer

Weifei Jin, Yuxin Cao, Junjie Su, Qi Shen, Kai Ye, Derui Wang, Jie Hao, Ziyao Liu

제출 2024-05-15

원문 초록

In light of the widespread application of Automatic Speech Recognition (ASR) systems, their security concerns have received much more attention than ever before, primarily due to the susceptibility of Deep Neural Networks. Previous studies have illustrated that surreptitiously crafting adversarial perturbations enables the manipulation of speech recognition systems, resulting in the production of malicious commands. These attack methods mostly require adding noise perturbations under $\ell_p$ norm constraints, inevitably leaving behind artifacts of manual modifications. Recent research has alleviated this limitation by manipulating style vectors to synthesize adversarial examples based on Text-to-Speech (TTS) synthesis audio. However, style modifications based on optimization objectives significantly reduce the controllability and editability of audio styles. In this paper, we propose an attack on ASR systems based on user-customized style transfer. We first test the effect of Style Transfer Attack (STA) which combines style transfer and adversarial attack in sequential order. And then, as an improvement, we propose an iterative Style Code Attack (SCA) to maintain audio quality. Experimental results show that our method can meet the need for user-customized styles and achieve a success rate of 82% in attacks, while keeping sound naturalness due to our user study.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09833v1cs.CR공통 태그 Speech Recognition, Automatic Speech Recognition, Adversarial Attack

자동 음성 인식 시스템의 생성적 테스팅

Generative Testing of Automated Speech Recognition Systems

자동 음성 인식(ASR) 시스템은 트랜스포머 기반 모델로 높은 정확도를 달성하여 중요한 응용 분야에 배포되고 있다. 그러나 이러한 시스템은 적대적 조작에 여전히 취약하며, 특히 공격이 지각적 자연스러움을 보존해야 하는 블랙박스 환경에서 더욱 그러하다. 본 연구는 텍스트-투-스피치 모델의 음소 수준 잠재 공간에서 동작하여 실패를 유발하는 입력을 생성하는 블랙박스 테스팅 접근법인 GATAS를 제안한다. 파형을 직접 교란하는 대신, 자연 음성의 매니폴드 내에 머무르면서 잠재 표현을 보간하여 전사 오류를 유발한다. 이 공격은 의미적 발산과 지각적 품질의 균형을 맞추는 다목적 최적화 문제로 정식화된다. 화이트박스 및 블랙박스 기준선에 대한 실험적 평가 결과, GATAS는 98%의 성공률을 달성하면서 낮은 왜곡과 높은 지각적 품질을 제공함을 인간 연구를 통해 확인하였다. 그래디언트 접근 없이 동작함에도 불구하고, GATAS는 화이트박스 방법에 필적하는 성능을 보이며, 표현 및 지각적 정렬이 모델 내부에 대한 접근보다 더 중요함을 강조한다. 전반적으로, 본 연구의 결과는 비표적 잠재 공간 최적화가 ASR 시스템에 대한 현실적이고 효과적인 테스트 케이스의 효율적 생성을 가능하게 함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.