DeepfakeUCL: Deepfake Detection via Unsupervised Contrastive Learning
원문 초록
Face deepfake detection has seen impressive results recently. Nearly all existing deep learning techniques for face deepfake detection are fully supervised and require labels during training. In this paper, we design a novel deepfake detection method via unsupervised contrastive learning. We first generate two different transformed versions of an image and feed them into two sequential sub-networks, i.e., an encoder and a projection head. The unsupervised training is achieved by maximizing the correspondence degree of the outputs of the projection head. To evaluate the detection performance of our unsupervised method, we further use the unsupervised features to train an efficient linear classification network. Extensive experiments show that our unsupervised learning method enables comparable detection performance to state-of-the-art supervised techniques, in both the intra- and inter-dataset settings. We also conduct ablation studies for our method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ASAP: AI 생성 이미지의 이미지 패턴 식별 및 분석을 위한 시각적 분석 시스템
ASAP: Visual Analytics for Identifying and Analyzing Image Patterns in AI-generated Images
생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.
변환은 진실을 드러내는가? 일반화된 AI 생성 이미지 탐지를 위한 생성적 잔차 학습
Do Transformations Reveal the Truth? Generative Residual Learning for Generalized AI-Generated Image Detection
생성형 AI의 급속한 발전으로 매우 사실적인 딥페이크 미디어 생성이 가능해졌으며, 이는 허위정보 유포, 디지털 신원 도용, 사기, 여론 조작 등 심각한 위협을 초래하고 있다. AI 생성 이미지(AIGI) 탐지는 생성 방법의 다양성과 그로 인해 남겨지는 미묘한 아티팩트로 인해 안정적으로 수행하기 어렵다. 본 연구에서는 신경 텐서 네트워크(neural tensor network)를 통한 생성적 잔차 학습 프레임워크인 GenRes를 제안한다. GenRes는 원본 샘플과 변환된 샘플 간의 세밀한 관계적 특징을 모델링하여 일반화 성능을 향상시킨다. 다중 생성적 변환이 포함된 시나리오를 처리하기 위해, 학습 가능한 어텐션 메커니즘을 활용해 여러 변환 샘플에 걸친 관계적 특징을 집계하고 모델이 가장 정보가 풍부한 단서에 집중할 수 있도록 하는 GenRes++를 도입한다. 두 모델 모두 특징 추출기로 PE-Core를 활용하여, 도메인 간 성능을 향상시키고 학습 시 보지 못한 방법으로 생성된 AIGI 탐지를 가능하게 하는 일반화되고 의미론적으로 풍부한 임베딩을 제공한다. 다수의 벤치마크 데이터셋에 대한 포괄적인 실험을 통해 제안된 GenRes++ 방법이 기존 방법들을 능가함을 입증한다.
향상된 RGB-노이즈 표현 학습을 통한 일반화된 합성 이미지 탐지
Generalized Synthetic Image Detection with Enhanced RGB-Noise Representation Learning
대규모 생성 모델의 급격한 발전은 고도로 기만적인 AI 생성 이미지의 확산을 가속화하여, 일반화된 합성 이미지 탐지를 핵심적인 과제로 만들었다. 기존의 포렌식 네트워크는 단일 도메인 표현과 기존의 이진 분류 최적화에 의존하기 때문에 교차 모델 일반화 및 실세계 열화 문제에 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 향상된 RGB-노이즈 표현 학습을 통해 강건한 탐지를 달성하는 새로운 포렌식 프레임워크인 RNSIDNet을 제안한다. 구체적으로, 우리의 방법은 어텐션 정제 CLIP 백본으로 추출된 전역 RGB 의미론이 특징별 선형 변조(FiLM) 모듈을 통해 Bayar 컨볼루션으로 포착된 고주파 노이즈 아티팩트를 동적으로 변조하는 이중 브랜치 아키텍처를 채택한다. 학습된 표현을 더욱 향상시키기 위해, 어려운 샘플 인식 대조 학습(Hard Sample-aware Contrastive Learning, HSCL) 전략을 설계한다. 도전적인 학습 샘플에 명시적으로 패널티를 부여함으로써, HSCL은 잠재 특징 공간을 재구성하여 원본 도메인과 합성 도메인 간의 판별 마진을 최대화한다. 8개의 공개 벤치마크 데이터셋에 걸친 광범위한 실험을 통해, 우리 모델이 최첨단 성능을 달성하며 우수한 일반화 능력, 강건성, 계산 효율성을 제공함을 검증한다. 코드와 데이터셋은 https://github.com/multimediaFor/RNSIDNet에서 공개될 예정이다.
UNTAG: LEARNING GENERIC FEATURES FOR UNSUPERVISED TYPE-AGNOSTIC DEEPFAKE DETECTION
Bts-e: Audio deepfake detection using breathing-talking-silence encoder
Masked Relation Learning for DeepFake Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.