설명 가능한 딥페이크 탐지 챌린지 2026의 MSU 팀: 딥페이크 탐지를 위한 그라운딩된 아티팩트 증거
MSU Team at the Explainable Deepfake Detection Challenge 2026: Grounded Artifact Evidence for Deepfake Detection
한국어 초록
최근 생성형 이미지 모델의 발전으로 조작된 다수의 이미지가 매우 사실적으로 변하면서, 정확할 뿐만 아니라 판단에 대한 시각적 증거를 제공할 수 있는 탐지기의 필요성이 커지고 있습니다. 본 논문에서는 XPlainVerse 데이터셋 기반의 설명 가능한 딥페이크 탐지 챌린지(Explainable Deepfake Detection Challenge)에 대한 저희의 솔루션을 제시합니다. 이 대회에서는 시스템이 이미지가 진짜인지 가짜인지 예측하고 눈에 보이는 포렌식 단서에 그라운딩(grounding)된 복합 및 단순 설명을 모두 생성해야 합니다. 저희의 방법은 모듈식 탐지 및 설명 설계를 따릅니다. 진짜/가짜 판별을 위해, 사전학습(pre-training)된 시각적 표현, DCT 인지 단서, 멀티스케일 포렌식 정보를 결합하여 여러 DINOv3 모델과 Mesorch 조작-위치화 특징을 결합한 멀티 백본 탐지기를 구축합니다. 탐지기에 설명 증거를 주입하기 위해, 학습 설명의 국소적 아티팩트 설명을 아티팩트 증거 맵(Artifact Evidence Map)을 위한 약한 패치 수준의 지도 신호로 변환하는 Grounding-DINO 기반 의사 마스크(pseudo-mask) 생성 파이프라인을 사용합니다. 나아가 쌍을 이루는 이미지나 픽셀 수준의 조작 마스크 없이도 탐지기 특징 공간에서 아티팩트 증거와 진위 증거를 분리하는 국소 패치 수준 대조 목적함수를 도입합니다. 언어 출력을 위해서는 클래스 조건부 Qwen3-VL 모델을 사용하여 가짜 및 진짜 예측에 대한 복합 설명을 생성한 뒤, GRPO로 최적화된 텍스트 단순화 모델을 적용합니다. 제안된 방법들은 XPlainVerse의 챌린지 서브셋에서 학습 및 평가되었습니다. 전체 테스트 분할에서 저희의 제출 모델은 탐지 정확도 0.9349, 설명 점수 0.5571, 최종 챌린지 점수 0.7456을 달성했습니다.
원문 초록
Recent advances in generative image models have made many manipulated images highly realistic, raising the need for detectors that are not only accurate but also able to provide visual evidence for their decisions. In this paper, we present our solution to the Explainable Deepfake Detection Challenge [2] on the XPlainVerse dataset [1], where systems are required to predict whether an image is real or fake and generate both complex and simple explanations grounded in visible forensic cues. Our method follows a modular detection-and-explanation design. For the real/fake decision, we build a multi-backbone detector that combines several DINOv3 models with Mesorch manipulation-localization features, bringing together pretrained visual representations, DCT-aware cues, and multi-scale forensic information. To inject explanation evidence into the detector, we use a Grounding-DINO-based pseudo-mask generation pipeline that converts local artifact descriptions from training explanations into weak patch- level supervision for an Artifact Evidence Map. We further introduce a local patch-level contrastive objective that separates artifact and authenticity evidence in the detector feature space without requiring paired images or pixel-level manipulation masks. For language output, we use class-conditional Qwen3-VL models to generate complex explanations for fake and real predictions, followed by a GRPO-optimized text simplification model. The proposed methods were trained and evaluated on the challenge subset of XPlainVerse. On the full test split, our submission achieves 0.9349 detection accuracy, 0.5571 explanation score, and a 0.7456 final challenge score.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.