명시적 포렌식 특징과 시계열 모델링을 통한 비디오 내 해석 가능한 딥페이크 탐지
Interpretable Deepfake Detection in Videos via Explicit Forensic Features and Temporal Modeling
한국어 초록
조작된 콘텐츠가 프레임 단위에서는 시각적으로 일관되어 보일 수 있지만 미세한 시간적 불일치를 나타낼 수 있기 때문에, 비디오에서의 딥페이크(deepfake) 탐지는 여전히 어려운 과제로 남아 있습니다. 본 논문은 비디오 시퀀스에서 공간적 및 시간적으로 일관된 얼굴 특징을 모델링하는 해석 가능한 딥페이크 탐지 프레임워크를 소개합니다. 암묵적 표현(implicit representations)에 의존하는 엔드투엔드(end-to-end) 딥러닝 모델과 달리, 제안된 접근 방식은 물리적 기반의 포렌식 단서를 명시적으로 인코딩하여 투명한 분석과 향상된 다중 데이터셋 일반화를 가능하게 합니다. 이 파이프라인은 비디오를 신원 일관적인 얼굴 궤적으로 변환하고, 이를 고정 길이의 시간 윈도우로 분할한 뒤, 측광(photometric), 텍스처(textural), 기하학적(geometric), 압축 기반(compression-based) 특징이라는 네 가지 상호 보완적인 도메인에 걸친 68개의 구조화된 기술자(descriptor)를 사용하여 각 프레임을 표현합니다. 이러한 기술자들은 조작 아티팩트에 대한 간결한 다중 도메인 표현을 제공하며, 시간적 의존성과 미세한 불규칙성을 포착하기 위해 장단기 메모리(LSTM) 네트워크에 의해 처리됩니다. FaceForensics++, Celeb-DF v2, DeepFake Detection Challenge(DFDC)의 큐레이션된 서브셋, DeeperForensics 등 네 가지 벤치마크 데이터셋에 대한 평가에서 각각 98.0%, 91.0%, 97.6%, 96.2%의 강력하고 일관된 F1-점수를 달성했습니다. 또한 본 접근 방식은 우수한 교차 데이터셋 일반화 성능을 입증하여, 비디오 딥페이크 탐지를 위한 견고하고 해석 가능한 솔루션을 제공합니다.
원문 초록
Deepfake detection in videos remains challenging, as manipulated content may appear visually consistent at the frame level while exhibiting subtle temporal inconsistencies. This paper introduces an interpretable deepfake detection framework that models spatially and temporally coherent facial features in video sequences. Unlike end-to-end deep models relying on implicit representations, the proposed approach explicitly encodes physically grounded forensic cues, enabling transparent analysis and improved multi-dataset generalization. The pipeline transforms videos into identity-consistent facial trajectories, segments them into fixed-length temporal windows, and represents each frame using 68 structured descriptors spanning four complementary domains: photometric, textural, geometric, and compression-based features. These descriptors provide a compact multi-domain representation of manipulation artifacts and are processed by a Long Short-Term Memory (LSTM) network to capture temporal dependencies and subtle irregularities. Evaluation on four benchmark datasets, FaceForensics++, Celeb-DF v2, a curated subset of the DeepFake Detection Challenge (DFDC), and DeeperForensics, yields strong and consistent F1-scores of 98.0%, 91.0%, 97.6%, and 96.2%, respectively. The approach also demonstrated a good cross-dataset generalization, providing a robust and interpretable solution for video deepfake detection.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
말하는 얼굴 딥페이크 탐지를 위한 상보적 rPPG 유래 및 입술 영역 주파수 단서
Complementary rPPG-Derived and Lip-Region Frequency Cues for Talking-Face Deepfake Detection
말하는 얼굴(talking-face, TF) 딥페이크는 생성기(generator)마다 rPPG 기반 방법의 탐지 성능이 고르지 않다. 우리는 피험자 독립(subject-independent) 프로토콜 하에서 Celeb-DF++의 7가지 TF 방법에 대해, RhythmFormer로 추출한 rPPG 유래 파형과 입술 영역 이산 코사인 변환(discrete cosine transform, DCT) 계수라는 두 가지 경량 시각 전용(visual-only) 단서를 연구한다. 도메인 내(in-domain)에서는 SadTalker를 제외한 모든 방법에서 입술 영역 DCT가 rPPG 유래 1D ResNet과 동등하거나 더 우수하며, Concat 융합은 단일 모달(unimodal) 기준선의 AUC 0.824 및 0.827에 대해 AUC 0.891에 도달한다. 생성기 하나 제외(leave-one-generator-out) 평가에서는 두 단서가 갈라진다: 각각은 보류(hold-out)된 세 방법으로 더 뚜렷이 전이(transfer)되며, IP-LAP은 두 단서 모두에서 거의 무작위(near chance) 수준이다. Concat은 평균 0.798이지만 DCT 전이가 약한 경우 rPPG 단독보다 낮아져, 정적(static) 융합은 이러한 상보성을 부분적으로만 활용한다. 입술 영역 DCT는 7가지 방법 중 6가지에서 전체 얼굴 DCT보다 우수하다. 우리는 rPPG 유래 신호를 경험적(empirical) 단서로 취급하며, 그�이 심장(cardiac) 기원임을 주장하지 않는다.
DFD-Lab: 모듈형 오디오-비주얼 딥페이크 탐지 파이프라인
DFD-Lab: A Modular Audio-Visual Deepfake Detection Pipeline
오디오-비주얼 딥페이크 탐지기(audio-visual deepfake detector)를 비교하려면 데이터셋 적응, 시간적 입력 표현(temporal input representation), 모델 인터페이스, 실험 조건을 함께 조율해야 한다. 본 논문은 이러한 책임들을 분리하면서도 공통된 학습 및 평가 워크플로를 지원하는 모듈형 파이프라인인 DFD-Lab을 제시한다. 우리는 Xception 기반 최대 로짓(maximum-logit) 융합, 시간적 LSTM 융합을 사용하는 ResNet, 그리고 우리가 재구현한 AVFF의 세 가지 구현을 통합한다. 실험은 외부 테스트, 열화(degradation) 기반 학습 증강(training augmentation), 그리고 평가 시점의 손상(corruption)을 다룬다. Deepfake-Eval-2024의 필터링된 하위 집합(subset)에서, FakeAVCeleb으로 학습된 모델들은 각각 0.504, 0.538, 0.458의 기준선 AUROC 값을 달성한다. JPEG50 학습 증강은 이 값을 각각 0.691, 0.605, 0.570으로 높이는 반면, 세 모델의 정확도는 모두 감소한다. 이러한 결과는 학습 개입, 평가 손상, 그리고 지표에 따라 달라지는 결과가 공통 파이프라인 내에서 왜 구분되어야 하는지를 보여준다. 본 연구의 기여는 오디오-비주얼 처리, 상호 교체 가능한 탐지기, 그리고 설정 가능한 실험 워크플로의 통합이며, 이는 실증적 사례 연구(case study)로 뒷받침된다. 이 연구 결과는 데이터셋 간(cross-dataset) 탐지의 어려움과 순위화(ranking) 지표 및 분류 지표가 제공하는 상호 보완적 정보를 강조한다.
품질 인식 다중모달 융합이 정서-각성 특징 속 암묵적 신원을 드러냄
Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features
기존 얼굴 인식은 정적 외모 단서에 의존하며, 표정 변화, 가림, 조명 불량이 있는 비제약 환경에서 성능이 저하된다. 우리는 시청각 표정 역학이 정적 외모를 보완하는 신원 구별 정보를 담고 있으며, 이러한 신호를 추출하려면 in-the-wild 영상의 가변적 입력 품질에 강건한 다중모달 표현이 필요하다고 가설을 세운다. 이러한 표현을 학습하기 위해 다중모달 정서-각성(valence-arousal, VA) 추정을 사전과제(pretext task)로 설정하고, 샘플별·모달리티별 신뢰도를 추정하며 학습된 소프트 게이팅(soft gating)과 품질 의존적 드롭아웃을 통해 각 모달리티의 기여도를 조절하는 Quality-Aware Adaptive Fusion(QAAF)을 제안한다. VA 추정 문제에서 QAAF는 Aff-wild2에서 late fusion 앙상블을 통해 평균 Concordance Correlation Coefficient(CCC) 0.472를 달성하며, 동일 설정의 기준선 앙상블(0.415) 및 단일 백본 기준선(0.288) 대비 향상을 보인다. 또한 제안한 QAAF는 사용 불가능한 모달리티에 대해 더 큰 견고성을 보이며, 한 모달리티가 누락될 때 CCC가 상대적으로 7.5–34.4%만 감소한다. 이어서 우리는 이러한 VA 학습 특징이 신원 특화 학습 없이도 신원을 인코딩하는지 조사한다. AFEW-VA(67명 배우)와 YTF(1,595명 피험자)에서 VA 학습 백본 특징은 평가된 소프트 생체인식(soft biometric) 방법 중 1위를 기록했으며, ArcFace와의 score-level 융합은 두 데이터셋 모두에서 EER을 낮춘다(AFEW-VA에서 0.022→0.021, YTF에서 0.106→0.104). AFEW-VA에서는 ArcFace의 오수용(false accept) 중 68.2%를 수정한다. 이러한 결과는 다중모달 VA 추정이 기존 얼굴 인식을 보완하는 소프트 생체인식 모달리티임을 입증한다.
조기 탐지, 드문 에스컬레이션: 압축 비트스트림 기반 AI 생성 비디오의 임의 시점 탐지
Detect Early, Escalate Rarely: Anytime Detection of AI-Generated Video from the Compressed Bitstream
AI 생성 비디오 탐지기는 오프라인에서 평가된다. 클립은 픽셀로 디코딩된 뒤 한 번 점수화되며, 점점 더 많이 대규모 비전-언어 모델에 의해 그렇게 처리된다. 그러나 탐지는 온라인으로 배포된다. 우리는 이 과제를 스트리밍 인식으로 재구성하고, 코덱이 이미 비트스트림에 기록한 모션 필드를 점수화한다. 해당 필드를 읽는 것은 파싱이며, 픽셀 도메인 순전파가 아니다. 누적 집계가 단조(monotone)이기 때문에, 끝점에서 한 번 보정한 임계값 하나가 데이터에 따라 달라지는 결정 시점에서 임의 시점 유효(anytime-valid)하다. 각 접두 문맥에서 재보정하는 것은 그렇지 않다. 에스컬레이션 비용은 폐형(closed form)으로 산출된다. 연산 예산은 지연(deferral) 윈도우에 대응하며, 지연 조건이 성립하는 바로 그 지점에서 프론티어가 단조적이다. 매칭된 GenVidBench에서 코덱 단계는 CPU에서 픽셀 CNN보다 연산량이 5자릿수(10^5배) 적은 상태로 전체 길이 AUC 0.64에 도달한다. 게이트는 실제 데이터가 보정과 일치할 때 정지 시점 거짓 양성률을 목표 수준에 유지하고, 분포 이동(distribution shift) 하에서는 그 위로 벗어난다. 클립의 15%를 지연하면 연산량을 $7\times$ 줄인 채 정확도가 0.75에서 0.78로 상승한다(쌍체: McNemar $p<10^{-6}$). 1단계 순서(ordering)는 AIGVDBench에서도 재현된다. 우리는 새로운 탐지기를 제안하지 않는다. 기여는 재구성, 두 가지 보장, 그리고 측정된 프론티어이다. 코드, 설정, 평가 분할: https://github.com/KurbanIntelligenceLab/streamdet.
지속적으로 진화하는 딥페이크 탐지: 동적 탐지 시스템의 아키텍처 및 공개 벤치마크 평가
Continuously Evolving Deepfake Detection: An Architecture and Public-Benchmark Evaluation of a Dynamic Detection System
학술 벤치마크에서 거의 완벽한 점수를 달성하는 딥페이크 탐지기는 실세계 콘텐츠에서는 성능이 급격히 무너집니다. 최근 in-the-wild 평가에서는 최신(state-of-the-art) 오픈소스 모델의 AUC가 45-50% 하락한다고 보고됩니다. 우리는 이 격차가 구조적이라고 주장합니다. 정적 탐지기는 계속 변화하는 생성 프론티어에 대해 한 번만 학습되기 때문입니다. 우리는 Bittensor SN34를 통해 학습된 BitMind Forensics(BMF)를 제안합니다. Bittensor SN34는 학습 분포를 지속적으로 갱신하는 공개 적대적(adversarial) 경쟁입니다. 우리는 이미지, 일반 비디오, 인간 비디오 체크포인트를 포함하는 하나의 특정 시점 export를 19개의 공개 데이터셋에서 평가합니다. 여기에는 표준 face-swap 스위트(FaceForensics++, Celeb-DF v1/v2/++, DFDC, DFD, UADFV, DF40)와 최근 in-the-wild 및 AI 생성 미디어 벤치마크(Sumsub, Deepfake-Eval-2024, WildRF, Community Forensics, AIGCDetectBench, GenImage, AI-GenBench, AIGIBench, RAID, GenVidBench, GenVideo-100K)가 포함됩니다. BMF는 Sumsub의 원본 이미지에서 0.936 AUC를 달성하고, 전체 4조건 조작 배터리(140만 이미지)에 대한 pooled AUC 0.872를 기록합니다. perturbation 하에서도 견고하며(0.855 JPEG, 0.799 downscaled), GPEN enhancement는 탐지 성능을 향상시킵니다(0.996). Deepfake-Eval-2024에서 BMF는 이미지에서 최고의 상용 탐지기와 동등합니다(0.915 vs 0.90)고, 비디오에서는 이를 초과합니다(0.822 vs 0.79). 이는 최고의 오픈소스 탐지기(0.56 및 0.63)보다 훨씬 높습니다. 21개 생성기 AI 이미지 패널에서 0.991 AUC, GenVidBench에서 0.918 AUC를 달성하며, DFDC(0.947 vs 0.843) 및 Celeb-DF v2(0.9985 vs 0.956)에서 FF++로 학습된 frontier를 초과합니다. 둘 다 오염 검증(contamination-audited)되었으며, Celeb-DF++에서는 통계적 동등성을 보입니다. 시간적 연구에서 연속된 특정 시점 export는 정적 기준선의 학습에 없던 생성기의 held-out 미디어에서 성능이 향상됩니다(이미지 0.842→0.902; 비디오 0.864→0.936). 평가 하네스는 공개되어 있으며, 출판 시점에 프로덕션 API는 독립적 검증을 위해 평가된 정확한 스냅샷을 제공합니다.
원격 신분증 홀로그램 탐지를 위한 비디오 트랜스포머
Video Transformer for Remote Identity Document Hologram Detection
신분증(ID Document)을 활용한 원격 신원 인증은 수년간 주요 과제로 남아 있다. 딥페이크(DeepFake)의 등장과 AI 기반 도구의 발전으로 사기꾼들이 위조 신분증을 제작하기 쉬워졌다. 신분증의 진위 확인은 원격 인증 보안화에 있어 핵심 요소가 되었으며, 행정 및 거래 프로세스의 디지털화가 가속화됨에 따라 이러한 필요성은 더욱 커지고 있다. 광범위한 접근성을 보장하기 위해 시스템은 모바일 기기로 촬영한 영상만을 기반으로 동작해야 한다. 이러한 특수한 상황에서 신분증 진위 확인은 적외선 센서 등 특수 장비가 필요한 보안 요소가 많아 실질적인 도전 과제다. 활용도는 낮지만 유망한 보안 요소 중 홀로그래픽 인쇄(holographic printing)는 특별한 위치를 차지한다. 위조가 어렵고 조명에 따라 독특한 시각적 효과를 나타내어, 스마트폰 카메라로 촬영한 영상에서 탐지 가능하면서도 모방하기 어렵다. 본 논문에서는 원격 신분증 검증 시스템(RIDVS, Remote Identity Document Verification System)과 스마트폰으로 촬영한 일반 영상에서 홀로그램을 탐지하기 위한 비디오 트랜스포머 기반 접근법을 제안한다. 제안 시스템은 스마트폰 기반 촬영 후 서버 측 검증을 수행하도록 설계되었다. 홀로그램 탐지 방법은 관련 연구 도메인에서 이미 검증된 견고한 모델을 기반으로 한다. 제안 방법이 기존 최신 기술(SotA) 방법들을 능가함을 입증하며, 중소 규모 데이터셋으로 학습하더라도 거의 완벽한 정확도를 달성한다. 특히 최고 성능의 MIDV-Holo 기준선 대비 재현율 +26.86%, 정확도 +17.93%의 향상을 보고한다. 본 연구는 학습 샘플과 컴퓨팅 자원 모두에서 모델의 경량화(frugality) 적응성을 평가하는 다수의 실험을 포함한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
10