arXiv:2011.09957

Adversarial Threats to DeepFake Detection: A Practical Perspective

Paarth Neekhara, Brian Dolhansky, Joanna Bitton, Cristian Canton Ferrer

제출 2020-11-19

원문 초록

Facially manipulated images and videos or DeepFakes can be used maliciously to fuel misinformation or defame individuals. Therefore, detecting DeepFakes is crucial to increase the credibility of social media platforms and other media sharing web sites. State-of-the art DeepFake detection techniques rely on neural network based classification models which are known to be vulnerable to adversarial examples. In this work, we study the vulnerabilities of state-of-the-art DeepFake detection methods from a practical stand point. We perform adversarial attacks on DeepFake detectors in a black box setting where the adversary does not have complete knowledge of the classification models. We study the extent to which adversarial perturbations transfer across different models and propose techniques to improve the transferability of adversarial examples. We also create more accessible attacks using Universal Adversarial Perturbations which pose a very feasible attack scenario since they can be easily shared amongst attackers. We perform our evaluations on the winning entries of the DeepFake Detection Challenge (DFDC) and demonstrate that they can be easily bypassed in a practical attack scenario by designing transferable and accessible adversarial attacks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.23292v3cs.CV공통 태그 Face Swapping, Misinformation, DeepFake Detection

DDL: 다양한 실제 환경 시나리오에서의 딥페이크 탐지 및 위치 특정을 위한 대규모 데이터셋

DDL: A Large-Scale Dataset for Deepfake Detection and Localization in Diversified Real-World Scenarios

최근 AI 생성 콘텐츠(AIGC)의 발전으로 악의적인 딥페이크 콘텐츠의 오용이 심화됨에 따라, 신뢰할 수 있는 딥페이크 탐지 방법의 개발은 이러한 문제를 해결하기 위한 필수적인 수단이 되었습니다. 기존 딥페이크 탐지 모델들이 탐지 지표에서 뛰어난 성능을 보이고 있음에도 불구하고, 대부분의 방법은 단순한 이진 분류(binary classification) 결과만을 제공하여 해석 가능성(interpretability)이 부족합니다. 최근 연구들은 공간적 조작 마스크나 시간적 위조 구간을 제공함으로써 분류 결과의 해석 가능성을 높이고자 시도했습니다. 그러나 위조 데이터셋(dataset)의 한계로 인해 이러한 방법들의 실질적인 효과는 여전히 미흡한 수준입니다. 그 주된 이유는 대부분의 기존 딥페이크 데이터셋이 이진 레이블만을 포함하고, 위조 시나리오의 다양성이 제한적이며, 딥페이크 유형의 다양성이 불충분하고, 데이터 규모가 비교적 작아 복잡한 실제 환경 시나리오에 적용하기에 부적합하기 때문입니다. 이러한 난제를 해결하기 위해, 본 연구에서는 140만 개 이상의 위조 샘플을 포함하고 80개의 서로 다른 딥페이크 방법을 포괄하는 새로운 대규모 딥페이크 탐지 및 위치 특정(DDL) 데이터셋을 구축합니다. DDL의 설계는 네 가지 핵심 혁신을 포함합니다: (1) 포괄적인 딥페이크 방법(7가지 서로 다른 생성 아키텍처와 총 80가지 방법 포함), (2) 다양한 조작 모드(7가지 고전적 위조 모드와 3가지 새로운 위조 모드 접목), (3) 다양한 위조 시나리오 및 모달리티(3가지 시나리오와 3가지 모달리티 포함), (4) 세밀한 위조 주석(118만 개 이상의 정밀한 공간 마스크와 23만 개 이상의 정밀한 시간 구간 제공). 이러한 개선을 통해 DDL은 복잡한 실제 환경의 위조에 대한 더욱 도전적인 벤치마크를 제공할 뿐만 아니라, 차세대 딥페이크 탐지, 위치 특정 및 해석 가능성 방법 구축을 위한 중요한 기반을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.