arXiv:2205.06684

The Effectiveness of Temporal Dependency in Deepfake Video Detection

Will Rowan, Nick Pears

제출 2022-05-13

원문 초록

Deepfakes are a form of synthetic image generation used to generate fake videos of individuals for malicious purposes. The resulting videos may be used to spread misinformation, reduce trust in media, or as a form of blackmail. These threats necessitate automated methods of deepfake video detection. This paper investigates whether temporal information can improve the deepfake detection performance of deep learning models. To investigate this, we propose a framework that classifies new and existing approaches by their defining characteristics. These are the types of feature extraction: automatic or manual, and the temporal relationship between frames: dependent or independent. We apply this framework to investigate the effect of temporal dependency on a model's deepfake detection performance. We find that temporal dependency produces a statistically significant (p < 0.05) increase in performance in classifying real images for the model using automatic feature selection, demonstrating that spatio-temporal information can increase the performance of deepfake video detection models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27371v1cs.HC공통 태그 Image Generation, Misinformation, DeepFake Detection

ASAP: AI 생성 이미지의 이미지 패턴 식별 및 분석을 위한 시각적 분석 시스템

ASAP: Visual Analytics for Identifying and Analyzing Image Patterns in AI-generated Images

생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.

arXiv:2607.24016v3cs.CV공통 태그 Image Generation, DeepFake Detection

DailyBench: 최신 생성 모델의 AI 생성 및 조작 이미지를 위한 통합 벤치마크

DailyBench: A Unified Benchmark for AI-Generated and Manipulated Images from Modern Generative Models

최근 생성 모델의 발전으로 AI 생성 이미지 탐지는 쉽게 구별 가능한 완전 합성 이미지를 식별하는 것에서, 최신 생성 및 조작 파이프라인 모두에서 생성된 고도로 사실적인 콘텐츠를 식별하는 것으로 초점이 이동했다. 그러나 기존 탐지 벤치마크는 종종 구식 생성 모델로 구축되었으며 주로 전체 이미지 합성에 중점을 두어, 벤치마크 데이터와 실제 생성 및 편집 시나리오에서 접하는 이미지 사이의 불일치가 점점 커지고 있다. 이 격차를 해소하기 위해, 우리는 AI 생성 이미지 탐지기가 최신 전체 이미지 합성과 객체 수준 조작 모두에 걸쳐 일반화할 수 있는지 평가하는 고품질 통합 벤치마크인 DailyBench를 제안한다. DailyBench는 두 가지 상호 보완적인 하위 집합으로 구성된다: 최근 오픈소스 및 상용 생성 모델로 합성한 고품질 이미지를 포함하는 FakeBench, 그리고 고급 이미지 조건부 모델을 사용해 실제 이미지에 적용한 도전적인 객체 수준 편집을 도입하는 ManipulationBench. 이 설계는 DailyBench를 미세한 국소 편집 하에서 생성기 수준 일반화와 조작 인식 탐지를 모두 연구하기 위한 현실적인 테스트베드로 만든다. DailyBench에서의 실험은 현재 탐지기의 상당한 견고성 격차를 드러낸다: GenImage에서 91-96%의 균형 정확도를 보고한 방법들은 FakeBench에서 60-76%, ManipulationBench에서 54-66%로 하락한다. 이 결과는 기존 탐지기가 사실적인 합성 및 조작에 대해 여전히 일반화가 부족함을 보여주며, DailyBench가 견고하고 조작 인식 AI 생성 이미지 탐지 방법 개발을 위한 엄격한 테스트베드임을 강조한다. 프로젝트는 https://dailybench.github.io/ 에서 확인할 수 있다.

arXiv:2607.22745v1cs.CV공통 태그 Image Generation, Misinformation

고위험 시나리오에서 AI 생성 이미지가 시각적 신뢰에 도전한다

AI-generated Images Challenge Visual Trust in High-risk Scenarios

이미지 생성의 급속한 발전은 진위가 공공 안전과 개인 명성에 영향을 줄 수 있는 환경에서 시각 콘텐츠의 증거적 가치를 약화시키고 있다. 그러나 기존 탐지 벤치마크는 오해를 불러일 수 있는 시각 콘텐츠가 상당한 위험을 수반할 수 있는 공공 및 개인 안전 맥락에서 합성 이미지를 거의 검토하지 않는다. 본 연구에서는 GPT Image 2를 사용해 생성한 12개의 공공 및 개인 안전 시나리오를 아우르는 안전 중심 벤치마크 SafeIMG를 제안한다. 일반적 이미지와 이미지 수준 라벨에 초점을 둔 벤치마크와 달리, SafeIMG는 탐지기가 합성 이미지를 인식하는지 여부뿐 아니라 그들의 판단이 인간이 식별한 이상을 반영하는지도 평가한다. 이를 위해 SafeIMG는 의심스러운 영역을 국소화하고 국소 아티팩트 및 상위 수준의 상식적·물리적 불일치를 설명하는 인간 주석을 제공한다. 우리는 특화된 합성 이미지 탐지기와 비전-언어 모델(VLM)을 평가했으며, 어느 쪽도 신뢰할 만한 탐지를 제공하지 않음을 확인했다. 가장 강력한 VLM은 생성된 이미지의 49.5%만 식별하는 반면, 최고의 특화 탐지기는 33.1%를 식별했고, 인간 평가자의 정확도는 81.7%였다. 모델 설명은 인간 주석 이상의 29.8%만 포괄하며, 주로 텍스트, 얼굴, 손의 국소 결함을 포착한다. 상식적 충돌에서는 포괄률이 15.0%로, 물리적 불일치에서는 12.0%로 떨어지며, 유포로 인한 이미지 열화 이후 탐지 성능은 더욱 악화된다. 이러한 결과는 현재 탐지기가 공공 및 개인 안전 환경 전반에서 AI 생성 이미지를 신뢰할 수 있게 평가하는 데 필요한 정확도, 설명적 정렬, 견고성을 갖추지 못함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.