arXiv:2310.16540

Dual Defense: Adversarial, Traceable, and Invisible Robust Watermarking against Face Swapping

Yunming Zhang, Dengpan Ye, Caiyun Xie, Long Tang, Chuanxi Chen, Ziyi Liu, Jiacheng Deng

제출 2023-10-25

원문 초록

The malicious applications of deep forgery, represented by face swapping, have introduced security threats such as misinformation dissemination and identity fraud. While some research has proposed the use of robust watermarking methods to trace the copyright of facial images for post-event traceability, these methods cannot effectively prevent the generation of forgeries at the source and curb their dissemination. To address this problem, we propose a novel comprehensive active defense mechanism that combines traceability and adversariality, called Dual Defense. Dual Defense invisibly embeds a single robust watermark within the target face to actively respond to sudden cases of malicious face swapping. It disrupts the output of the face swapping model while maintaining the integrity of watermark information throughout the entire dissemination process. This allows for watermark extraction at any stage of image tracking for traceability. Specifically, we introduce a watermark embedding network based on original-domain feature impersonation attack. This network learns robust adversarial features of target facial images and embeds watermarks, seeking a well-balanced trade-off between watermark invisibility, adversariality, and traceability through perceptual adversarial encoding strategies. Extensive experiments demonstrate that Dual Defense achieves optimal overall defense success rates and exhibits promising universality in anti-face swapping tasks and dataset generalization ability. It maintains impressive adversariality and traceability in both original and robust settings, surpassing current forgery defense methods that possess only one of these capabilities, including CMUA-Watermark, Anti-Forgery, FakeTagger, or PGD methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.23292v3cs.CV공통 태그 Face Swapping, Misinformation

DDL: 다양한 실제 환경 시나리오에서의 딥페이크 탐지 및 위치 특정을 위한 대규모 데이터셋

DDL: A Large-Scale Dataset for Deepfake Detection and Localization in Diversified Real-World Scenarios

최근 AI 생성 콘텐츠(AIGC)의 발전으로 악의적인 딥페이크 콘텐츠의 오용이 심화됨에 따라, 신뢰할 수 있는 딥페이크 탐지 방법의 개발은 이러한 문제를 해결하기 위한 필수적인 수단이 되었습니다. 기존 딥페이크 탐지 모델들이 탐지 지표에서 뛰어난 성능을 보이고 있음에도 불구하고, 대부분의 방법은 단순한 이진 분류(binary classification) 결과만을 제공하여 해석 가능성(interpretability)이 부족합니다. 최근 연구들은 공간적 조작 마스크나 시간적 위조 구간을 제공함으로써 분류 결과의 해석 가능성을 높이고자 시도했습니다. 그러나 위조 데이터셋(dataset)의 한계로 인해 이러한 방법들의 실질적인 효과는 여전히 미흡한 수준입니다. 그 주된 이유는 대부분의 기존 딥페이크 데이터셋이 이진 레이블만을 포함하고, 위조 시나리오의 다양성이 제한적이며, 딥페이크 유형의 다양성이 불충분하고, 데이터 규모가 비교적 작아 복잡한 실제 환경 시나리오에 적용하기에 부적합하기 때문입니다. 이러한 난제를 해결하기 위해, 본 연구에서는 140만 개 이상의 위조 샘플을 포함하고 80개의 서로 다른 딥페이크 방법을 포괄하는 새로운 대규모 딥페이크 탐지 및 위치 특정(DDL) 데이터셋을 구축합니다. DDL의 설계는 네 가지 핵심 혁신을 포함합니다: (1) 포괄적인 딥페이크 방법(7가지 서로 다른 생성 아키텍처와 총 80가지 방법 포함), (2) 다양한 조작 모드(7가지 고전적 위조 모드와 3가지 새로운 위조 모드 접목), (3) 다양한 위조 시나리오 및 모달리티(3가지 시나리오와 3가지 모달리티 포함), (4) 세밀한 위조 주석(118만 개 이상의 정밀한 공간 마스크와 23만 개 이상의 정밀한 시간 구간 제공). 이러한 개선을 통해 DDL은 복잡한 실제 환경의 위조에 대한 더욱 도전적인 벤치마크를 제공할 뿐만 아니라, 차세대 딥페이크 탐지, 위치 특정 및 해석 가능성 방법 구축을 위한 중요한 기반을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.