논문 ID: document/9882301

Protecting World Leader Using Facial Speaking Pattern Against Deepfakes

Beilin Chu, Weike You, Zhen Yang, Linna Zhou, Renying Wang

제출 2022-09-09

원문 초록

Face forgery instances involving celebrities are on the rise, owing to the ease with which their large quantity of videos may be accessible on the Internet, world leaders particularly. While current face manipulation detectors have achieved impressive results on several open datasets, which incorporate persons with various identities, they show performance degradation on these high-quality ones targeting at celebrities. What is more, these online videos usually undergo compression processing, marking the detection task harder. Besides, more face manipulation techniques arise for celebrities other than face-swap, such as lip-synchronize and image-animation, with which most works have not been concerned. This paper proposes a dual stream learning facial and speaking patterns method to protect celebrities against deepfakes. We design an action unit module based on facial action coding system along with an Action Unit Transformer (AUT) to exploit facial expressions embeddings. Besides, our method's dual stream architecture utilizes a Temporal Convolutional Network (TCN) to extract lip motion pattern and learns the relatedness between facial and speaking patterns. Our method could protect the person of interest (POI) against deepfakes in an end-to-end manner. Extensive experiments show that our method achieves better performance and has a higher resistance to video compression than state-of-the-art detection models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2411.19537v4cs.CV공통 태그 DeepFake Detection공식 코드 · Papers with Code

생성 AI 시대의 딥페이크 미디어 생성 및 탐지: 서베이와 전망

Deepfake Media Generation and Detection in the Generative AI Era: A Survey and Outlook

딥페이크 생성 및 탐지 기법을 조사하며, 이미지, 동영상, 오디오, 멀티모달 콘텐츠 등 모든 딥페이크 미디어 유형을 다룬다. 다양한 종류의 딥페이크를 식별하고 딥페이크 생성 및 탐지 방법의 분류 체계를 구축하여 주요 방법군을 설명한다. 다음으로, 딥페이크 탐지에 사용되는 데이터셋을 수집하고 가장 널리 사용되는 데이터셋에서 최고 성능의 탐지기에 대한 최신 순위를 제공한다. 또한 분포 외(out-of-distribution) 콘텐츠에 대해 딥페이크 탐지기를 평가하기 위한 새로운 멀티모달 벤치마크를 개발한다. 결과는 최신(state-of-the-art) 탐지기가 이전에 보지 못한 생성기가 만든 딥페이크에 일반화하지 못함을 보여준다. 프로젝트 페이지와 새 벤치마크는 https://github.com/CroitoruAlin/biodeep 에서 확인할 수 있다.

arXiv:2411.19715v4cs.CV공통 태그 DeepFake Detection공식 코드 · Papers with Code

Forensics Adapter: 일반화 가능한 얼굴 위조 탐지를 위한 CLIP 활용

Forensics Adapter: Unleashing CLIP for Generalizable Face Forgery Detection

본 논문은 CLIP을 효과적이고 일반화 가능한 얼굴 위조 탐지기로 변환하도록 설계된 어댑터 네트워크인 Forensics Adapter를 소개한다. CLIP은 매우 다재다능하지만, 위조 관련 지식이 광범위한 무관한 지식과 얽혀 있어 얼굴 위조 탐지에 맞추는 것은 사소하지 않다. 기존 방법들은 CLIP을 단순히 특징 추출기로만 다루며 작업별 적응이 부족하여 효과가 제한된다. 이를 해결하기 위해, 작업별 목표의 안내 하에 위조된 얼굴에 고유한 블렌딩 경계인 얼굴 위조 흔적을 학습하는 어댑터를 도입한다. 그런 다음 CLIP과 어댑터 간 지식을 교환하는 전용 상호작용 전략으로 CLIP 시각 토큰을 강화한다. 어댑터가 CLIP과 병행하므로 CLIP의 다재다능성이 크게 유지되어, 얼굴 위조 탐지에서 강한 일반화 성능이 자연스럽게 보장된다. 학습 가능한 파라미터가 $\textbf{5.7M}$에 불과함에도, 우리 방법은 6개의 표준 데이터셋에서 우수한 성능을 달성한다. 또한 새롭게 제안한 위조 인식 프롬프트 학습 전략을 통해 텍스트 모달리티를 통합하는 확장 방법인 Forensics Adapter++를 설명한다. 이 확장은 원래 Forensics Adapter 대비 추가로 $\textbf{1.3\%}$의 성능 향상을 가져온다. 제안한 방법들이 향후 CLIP 기반 얼굴 위조 탐지 방법의 기준선이 될 수 있다고 믿는다. 코드는 https://github.com/OUC-VAS/ForensicsAdapter 에 공개되었다.

arXiv:2502.19716v3cs.CV공통 태그 DeepFake Detection공식 코드 · Papers with Code

완전 AI 생성 이미지 탐지: 정의, 최근 진전과 도전 과제

Fully AI-Generated Image Detection: Definition, Recent Advances and Challenges

비주얼 생성 모델의 최근 발전으로, 실제 원본 콘텐츠에 의존하지 않고도 매우 사실적인 완전 AI 생성 이미지를 만들 수 있게 되었다. 많은 응용 분야에 유익한 한편, 이러한 모델은 설득력 있는 Deepfake를 손쉽게 생성하도록 악용될 수 있어 상당한 사회적 위험을 초래한다. 이를 탐지하는 것은 AI 미디어 포렌식(AI media forensics)에서 기초적이면서도 어려운 문제이며, 탐지기는 생성 아키텍처가 각인한 고유 아티팩트(artifact)를 신뢰성 있게 추출해야 한다. 본 리뷰에서는 완전 AI 생성 이미지 탐지에 대한 체계적 개관을 제공한다. 표준 탐지기 설계 파이프라인에 따라 데이터셋 구축과 아티팩트 추출이라는 두 핵심 구성 요소에 초점을 맞춘다. 데이터셋 설계가 학습된 아티팩트의 일반화와 견고성에 미치는 영향을 분석하고, 아티팩트를 분리하기 위해 활용하는 주요 귀납적 사전(inductive prior)에 따라 기존 아티팩트 추출 방법을 분류한다. 이 틀 안에서 기존 연구를 체계적으로 검토한다. 마지막으로, 미해결 과제를 강조하고 더 견고하고 일반화 가능한 탐지기 개발을 위한 여러 향후 방향을 제시한다. 본 서베이에서 검토한 연구는 https://github.com/zju-pi/Awesome-Fully-AI-Generated-Image-Detection 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.