딥페이크 생성 및 탐지 기법을 조사하며, 이미지, 동영상, 오디오, 멀티모달 콘텐츠 등 모든 딥페이크 미디어 유형을 다룬다. 다양한 종류의 딥페이크를 식별하고 딥페이크 생성 및 탐지 방법의 분류 체계를 구축하여 주요 방법군을 설명한다. 다음으로, 딥페이크 탐지에 사용되는 데이터셋을 수집하고 가장 널리 사용되는 데이터셋에서 최고 성능의 탐지기에 대한 최신 순위를 제공한다. 또한 분포 외(out-of-distribution) 콘텐츠에 대해 딥페이크 탐지기를 평가하기 위한 새로운 멀티모달 벤치마크를 개발한다. 결과는 최신(state-of-the-art) 탐지기가 이전에 보지 못한 생성기가 만든 딥페이크에 일반화하지 못함을 보여준다. 프로젝트 페이지와 새 벤치마크는 https://github.com/CroitoruAlin/biodeep 에서 확인할 수 있다.
본 논문은 CLIP을 효과적이고 일반화 가능한 얼굴 위조 탐지기로 변환하도록 설계된 어댑터 네트워크인 Forensics Adapter를 소개한다. CLIP은 매우 다재다능하지만, 위조 관련 지식이 광범위한 무관한 지식과 얽혀 있어 얼굴 위조 탐지에 맞추는 것은 사소하지 않다. 기존 방법들은 CLIP을 단순히 특징 추출기로만 다루며 작업별 적응이 부족하여 효과가 제한된다. 이를 해결하기 위해, 작업별 목표의 안내 하에 위조된 얼굴에 고유한 블렌딩 경계인 얼굴 위조 흔적을 학습하는 어댑터를 도입한다. 그런 다음 CLIP과 어댑터 간 지식을 교환하는 전용 상호작용 전략으로 CLIP 시각 토큰을 강화한다. 어댑터가 CLIP과 병행하므로 CLIP의 다재다능성이 크게 유지되어, 얼굴 위조 탐지에서 강한 일반화 성능이 자연스럽게 보장된다. 학습 가능한 파라미터가 $\textbf{5.7M}$에 불과함에도, 우리 방법은 6개의 표준 데이터셋에서 우수한 성능을 달성한다. 또한 새롭게 제안한 위조 인식 프롬프트 학습 전략을 통해 텍스트 모달리티를 통합하는 확장 방법인 Forensics Adapter++를 설명한다. 이 확장은 원래 Forensics Adapter 대비 추가로 $\textbf{1.3\%}$의 성능 향상을 가져온다. 제안한 방법들이 향후 CLIP 기반 얼굴 위조 탐지 방법의 기준선이 될 수 있다고 믿는다. 코드는 https://github.com/OUC-VAS/ForensicsAdapter 에 공개되었다.
비주얼 생성 모델의 최근 발전으로, 실제 원본 콘텐츠에 의존하지 않고도 매우 사실적인 완전 AI 생성 이미지를 만들 수 있게 되었다. 많은 응용 분야에 유익한 한편, 이러한 모델은 설득력 있는 Deepfake를 손쉽게 생성하도록 악용될 수 있어 상당한 사회적 위험을 초래한다. 이를 탐지하는 것은 AI 미디어 포렌식(AI media forensics)에서 기초적이면서도 어려운 문제이며, 탐지기는 생성 아키텍처가 각인한 고유 아티팩트(artifact)를 신뢰성 있게 추출해야 한다. 본 리뷰에서는 완전 AI 생성 이미지 탐지에 대한 체계적 개관을 제공한다. 표준 탐지기 설계 파이프라인에 따라 데이터셋 구축과 아티팩트 추출이라는 두 핵심 구성 요소에 초점을 맞춘다. 데이터셋 설계가 학습된 아티팩트의 일반화와 견고성에 미치는 영향을 분석하고, 아티팩트를 분리하기 위해 활용하는 주요 귀납적 사전(inductive prior)에 따라 기존 아티팩트 추출 방법을 분류한다. 이 틀 안에서 기존 연구를 체계적으로 검토한다. 마지막으로, 미해결 과제를 강조하고 더 견고하고 일반화 가능한 탐지기 개발을 위한 여러 향후 방향을 제시한다. 본 서베이에서 검토한 연구는 https://github.com/zju-pi/Awesome-Fully-AI-Generated-Image-Detection 에서 확인할 수 있다.