arXiv:2412.07260

DFREC: DeepFake Identity Recovery Based on Identity-aware Masked Autoencoder

Peipeng Yu, Hui Gao, Zhitao Huang, Zhihua Xia, Chip-Hong Chang

제출 2024-12-10

원문 초록

Recent advances in deepfake forensics have primarily focused on improving the classification accuracy and generalization performance. Despite enormous progress in detection accuracy across a wide variety of forgery algorithms, existing algorithms lack intuitive interpretability and identity traceability to help with forensic investigation. In this paper, we introduce a novel DeepFake Identity Recovery scheme (DFREC) to fill this gap. DFREC aims to recover the pair of source and target faces from a deepfake image to facilitate deepfake identity tracing and reduce the risk of deepfake attack. It comprises three key components: an Identity Segmentation Module (ISM), a Source Identity Reconstruction Module (SIRM), and a Target Identity Reconstruction Module (TIRM). The ISM segments the input face into distinct source and target face information, and the SIRM reconstructs the source face and extracts latent target identity features with the segmented source information. The background context and latent target identity features are synergetically fused by a Masked Autoencoder in the TIRM to reconstruct the target face. We evaluate DFREC on six different high-fidelity face-swapping attacks on FaceForensics++, CelebaMegaFS and FFHQ-E4S datasets, which demonstrate its superior recovery performance over state-of-the-art deepfake recovery algorithms. In addition, DFREC is the only scheme that can recover both pristine source and target faces directly from the forgery image with high fadelity.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2411.19537v4cs.CV공통 태그 Face Swapping공식 코드 · Papers with Code

생성 AI 시대의 딥페이크 미디어 생성 및 탐지: 서베이와 전망

Deepfake Media Generation and Detection in the Generative AI Era: A Survey and Outlook

딥페이크 생성 및 탐지 기법을 조사하며, 이미지, 동영상, 오디오, 멀티모달 콘텐츠 등 모든 딥페이크 미디어 유형을 다룬다. 다양한 종류의 딥페이크를 식별하고 딥페이크 생성 및 탐지 방법의 분류 체계를 구축하여 주요 방법군을 설명한다. 다음으로, 딥페이크 탐지에 사용되는 데이터셋을 수집하고 가장 널리 사용되는 데이터셋에서 최고 성능의 탐지기에 대한 최신 순위를 제공한다. 또한 분포 외(out-of-distribution) 콘텐츠에 대해 딥페이크 탐지기를 평가하기 위한 새로운 멀티모달 벤치마크를 개발한다. 결과는 최신(state-of-the-art) 탐지기가 이전에 보지 못한 생성기가 만든 딥페이크에 일반화하지 못함을 보여준다. 프로젝트 페이지와 새 벤치마크는 https://github.com/CroitoruAlin/biodeep 에서 확인할 수 있다.

arXiv:2502.19716v3cs.CV공통 태그 Face Swapping공식 코드 · Papers with Code

완전 AI 생성 이미지 탐지: 정의, 최근 진전과 도전 과제

Fully AI-Generated Image Detection: Definition, Recent Advances and Challenges

비주얼 생성 모델의 최근 발전으로, 실제 원본 콘텐츠에 의존하지 않고도 매우 사실적인 완전 AI 생성 이미지를 만들 수 있게 되었다. 많은 응용 분야에 유익한 한편, 이러한 모델은 설득력 있는 Deepfake를 손쉽게 생성하도록 악용될 수 있어 상당한 사회적 위험을 초래한다. 이를 탐지하는 것은 AI 미디어 포렌식(AI media forensics)에서 기초적이면서도 어려운 문제이며, 탐지기는 생성 아키텍처가 각인한 고유 아티팩트(artifact)를 신뢰성 있게 추출해야 한다. 본 리뷰에서는 완전 AI 생성 이미지 탐지에 대한 체계적 개관을 제공한다. 표준 탐지기 설계 파이프라인에 따라 데이터셋 구축과 아티팩트 추출이라는 두 핵심 구성 요소에 초점을 맞춘다. 데이터셋 설계가 학습된 아티팩트의 일반화와 견고성에 미치는 영향을 분석하고, 아티팩트를 분리하기 위해 활용하는 주요 귀납적 사전(inductive prior)에 따라 기존 아티팩트 추출 방법을 분류한다. 이 틀 안에서 기존 연구를 체계적으로 검토한다. 마지막으로, 미해결 과제를 강조하고 더 견고하고 일반화 가능한 탐지기 개발을 위한 여러 향후 방향을 제시한다. 본 서베이에서 검토한 연구는 https://github.com/zju-pi/Awesome-Fully-AI-Generated-Image-Detection 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.