arXiv:2304.06125

Assessment Framework for Deepfake Detection in Real-world Situations

Yuhang Lu, Touradj Ebrahimi

제출 2023-04-12

원문 초록

Detecting digital face manipulation in images and video has attracted extensive attention due to the potential risk to public trust. To counteract the malicious usage of such techniques, deep learning-based deepfake detection methods have been employed and have exhibited remarkable performance. However, the performance of such detectors is often assessed on related benchmarks that hardly reflect real-world situations. For example, the impact of various image and video processing operations and typical workflow distortions on detection accuracy has not been systematically measured. In this paper, a more reliable assessment framework is proposed to evaluate the performance of learning-based deepfake detectors in more realistic settings. To the best of our acknowledgment, it is the first systematic assessment approach for deepfake detectors that not only reports the general performance under real-world conditions but also quantitatively measures their robustness toward different processing operations. To demonstrate the effectiveness and usage of the framework, extensive experiments and detailed analysis of three popular deepfake detection methods are further presented in this paper. In addition, a stochastic degradation-based data augmentation method driven by realistic processing operations is designed, which significantly improves the robustness of deepfake detectors.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.00948v2cs.CV공통 태그 Data Augmentation, DeepFake Detection

움직임 기반 AI 생성 비디오 탐지에서의 데이터셋 바이어스 및 지름길 학습

Dataset Biases and Shortcut Learning in Motion-Based AI-Generated Video Detection

최근 몇 년 동안 AI 생성 비디오의 시각적 품질이 비약적으로 향상되면서, 인간이 실제 미디어와 합성 미디어를 구별하기가 점점 더 어려워지고 있습니다. 본 연구에서는 최첨단(state-of-the-art) 움직임 기반 AI 생성 비디오 탐지기 4종의 견고성(robustness)과 적용 가능성을 평가합니다. 우리는 4가지 방법 중 3가지에서 중대한 전처리 및 샘플링 바이어스를 식별하고, 이것이 보고된 성능의 상당 부분을 차지함을 입증합니다. 나아가 이러한 탐지기들이 평가 데이터셋에 특화된 움직임 패턴에 매우 민감하며, 해당 데이터셋에서는 AI 생성 비디오가 실제 비디오보다 프레임 간 움직임이 대체로 적게 나타난다는 점을 밝혀냅니다. 또한 이러한 움직임 바이어스가 없는 데이터셋에서 평가할 경우 모든 탐지기의 성능이 무작위 추측에 가까운 수준으로 급락함을 보입니다. 아울러 데이터셋 재균형(rebalancing)과 단순한 공간 증강(spatial augmentations) 적용을 통해, 평가된 모든 모델에서 심각한 성능 저하가 발생함을 관찰했습니다. 반면, 기존의 주파수 기반 탐지기는 평가된 모든 데이터셋에서 우수한 성능을 유지함을 확인하였으며, 이는 주파수 기반 접근법이 AI 생성 비디오 탐지에서 더 일반화 가능한 방향성을 제시할 수 있음을 시사합니다. 본 연구가 이러한 취약점에 대한 경각심을 높이고, 더욱 대표성 있고 편향되지 않은 데이터셋과 견고한 평가 프로토콜 개발을 촉진하기를 기대합니다.

arXiv:2609.23830v1cs.CV공통 태그 Data Augmentation, DeepFake Detection

DFD-Lab: 모듈형 오디오-비주얼 딥페이크 탐지 파이프라인

DFD-Lab: A Modular Audio-Visual Deepfake Detection Pipeline

오디오-비주얼 딥페이크 탐지기(audio-visual deepfake detector)를 비교하려면 데이터셋 적응, 시간적 입력 표현(temporal input representation), 모델 인터페이스, 실험 조건을 함께 조율해야 한다. 본 논문은 이러한 책임들을 분리하면서도 공통된 학습 및 평가 워크플로를 지원하는 모듈형 파이프라인인 DFD-Lab을 제시한다. 우리는 Xception 기반 최대 로짓(maximum-logit) 융합, 시간적 LSTM 융합을 사용하는 ResNet, 그리고 우리가 재구현한 AVFF의 세 가지 구현을 통합한다. 실험은 외부 테스트, 열화(degradation) 기반 학습 증강(training augmentation), 그리고 평가 시점의 손상(corruption)을 다룬다. Deepfake-Eval-2024의 필터링된 하위 집합(subset)에서, FakeAVCeleb으로 학습된 모델들은 각각 0.504, 0.538, 0.458의 기준선 AUROC 값을 달성한다. JPEG50 학습 증강은 이 값을 각각 0.691, 0.605, 0.570으로 높이는 반면, 세 모델의 정확도는 모두 감소한다. 이러한 결과는 학습 개입, 평가 손상, 그리고 지표에 따라 달라지는 결과가 공통 파이프라인 내에서 왜 구분되어야 하는지를 보여준다. 본 연구의 기여는 오디오-비주얼 처리, 상호 교체 가능한 탐지기, 그리고 설정 가능한 실험 워크플로의 통합이며, 이는 실증적 사례 연구(case study)로 뒷받침된다. 이 연구 결과는 데이터셋 간(cross-dataset) 탐지의 어려움과 순위화(ranking) 지표 및 분류 지표가 제공하는 상호 보완적 정보를 강조한다.

arXiv:2607.08402v1cs.CV공통 태그 Data Augmentation, Face Swapping

얼굴 교체로 프라이버시 보호, 특징 보존으로 활용성 유지: ITS 보행자 프라이버시를 위한 이중 목적 파이프라인

Swapping Faces, Saving Features: A Dual-Purpose Pipeline for Pedestrian Privacy in ITS

자율주행차(AV)가 실시간 의사결정을 수행하도록 AI 모델을 학습시키려면 대규모의 다양한 데이터셋이 필요하며, 이는 지능형 교통 시스템(ITS)의 핵심 응용 분야다. 보행자 의도 및 궤적 예측은 자율주행차에서 중요하게 사용되는 모델로, 다양한 보행자 이미지를 포함하는 데이터셋을 필요로 한다. 이러한 데이터셋에 대한 무제한 접근은 신원 도용 및 보행자 추적과 같은 심각한 보안 위험을 초래한다. 문제는 모델 학습에 필요한 이미지 속성을 유지하면서 프라이버시 보호 절차를 적용하는 것이다. 기존 프라이버시 기법들은 보행자의 프라이버시를 보호할 수 있으나 이미지 활용성을 저하시켜 모델의 효과를 저해한다. 본 연구는 얼굴 교체(face swapping)를 통해 보행자의 프라이버시를 보호하면서 필수적인 얼굴 속성을 온전히 유지하는 5단계 파이프라인을 구현하는 데 초점을 맞춘다. 이 파이프라인은 Egy-DRiVeS 데이터셋의 프라이버시 요구 사항을 충족하도록 설계되었다. 또한 Roop와 Ghost-v2 얼굴 교체 모델을 평가하였으며, 실험 결과 Roop가 여러 측면에서 Ghost-v2보다 우수한 성능을 보임을 확인하였다. 이에 따라 신원 은폐를 통한 보행자 프라이버시 보호와 얼굴 속성 보존을 통한 데이터 활용성 간의 균형을 달성하기 위해 Roop를 파이프라인의 얼굴 교체 모델로 채택하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.