arXiv:2203.15563

Attacker Attribution of Audio Deepfakes

Nicolas M. Müller, Franziska Dieckmann, Jennifer Williams

제출 2022-03-28

원문 초록

Deepfakes are synthetically generated media often devised with malicious intent. They have become increasingly more convincing with large training datasets advanced neural networks. These fakes are readily being misused for slander, misinformation and fraud. For this reason, intensive research for developing countermeasures is also expanding. However, recent work is almost exclusively limited to deepfake detection - predicting if audio is real or fake. This is despite the fact that attribution (who created which fake?) is an essential building block of a larger defense strategy, as practiced in the field of cybersecurity for a long time. This paper considers the problem of deepfake attacker attribution in the domain of audio. We present several methods for creating attacker signatures using low-level acoustic descriptors and machine learning embeddings. We show that speech signal features are inadequate for characterizing attacker signatures. However, we also demonstrate that embeddings from a recurrent neural network can successfully characterize attacks from both known and unknown attackers. Our attack signature embeddings result in distinct clusters, both for seen and unseen audio deepfakes. We show that these embeddings can be used in downstream-tasks to high-effect, scoring 97.10% accuracy in attacker-id classification.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.23292v3cs.CV공통 태그 Face Swapping, Misinformation, DeepFake Detection

DDL: 다양한 실제 환경 시나리오에서의 딥페이크 탐지 및 위치 특정을 위한 대규모 데이터셋

DDL: A Large-Scale Dataset for Deepfake Detection and Localization in Diversified Real-World Scenarios

최근 AI 생성 콘텐츠(AIGC)의 발전으로 악의적인 딥페이크 콘텐츠의 오용이 심화됨에 따라, 신뢰할 수 있는 딥페이크 탐지 방법의 개발은 이러한 문제를 해결하기 위한 필수적인 수단이 되었습니다. 기존 딥페이크 탐지 모델들이 탐지 지표에서 뛰어난 성능을 보이고 있음에도 불구하고, 대부분의 방법은 단순한 이진 분류(binary classification) 결과만을 제공하여 해석 가능성(interpretability)이 부족합니다. 최근 연구들은 공간적 조작 마스크나 시간적 위조 구간을 제공함으로써 분류 결과의 해석 가능성을 높이고자 시도했습니다. 그러나 위조 데이터셋(dataset)의 한계로 인해 이러한 방법들의 실질적인 효과는 여전히 미흡한 수준입니다. 그 주된 이유는 대부분의 기존 딥페이크 데이터셋이 이진 레이블만을 포함하고, 위조 시나리오의 다양성이 제한적이며, 딥페이크 유형의 다양성이 불충분하고, 데이터 규모가 비교적 작아 복잡한 실제 환경 시나리오에 적용하기에 부적합하기 때문입니다. 이러한 난제를 해결하기 위해, 본 연구에서는 140만 개 이상의 위조 샘플을 포함하고 80개의 서로 다른 딥페이크 방법을 포괄하는 새로운 대규모 딥페이크 탐지 및 위치 특정(DDL) 데이터셋을 구축합니다. DDL의 설계는 네 가지 핵심 혁신을 포함합니다: (1) 포괄적인 딥페이크 방법(7가지 서로 다른 생성 아키텍처와 총 80가지 방법 포함), (2) 다양한 조작 모드(7가지 고전적 위조 모드와 3가지 새로운 위조 모드 접목), (3) 다양한 위조 시나리오 및 모달리티(3가지 시나리오와 3가지 모달리티 포함), (4) 세밀한 위조 주석(118만 개 이상의 정밀한 공간 마스크와 23만 개 이상의 정밀한 시간 구간 제공). 이러한 개선을 통해 DDL은 복잡한 실제 환경의 위조에 대한 더욱 도전적인 벤치마크를 제공할 뿐만 아니라, 차세대 딥페이크 탐지, 위치 특정 및 해석 가능성 방법 구축을 위한 중요한 기반을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.