명시적 포렌식 특징과 시계열 모델링을 통한 비디오 내 해석 가능한 딥페이크 탐지
Interpretable Deepfake Detection in Videos via Explicit Forensic Features and Temporal Modeling
조작된 콘텐츠가 프레임 단위에서는 시각적으로 일관되어 보일 수 있지만 미세한 시간적 불일치를 나타낼 수 있기 때문에, 비디오에서의 딥페이크(deepfake) 탐지는 여전히 어려운 과제로 남아 있습니다. 본 논문은 비디오 시퀀스에서 공간적 및 시간적으로 일관된 얼굴 특징을 모델링하는 해석 가능한 딥페이크 탐지 프레임워크를 소개합니다. 암묵적 표현(implicit representations)에 의존하는 엔드투엔드(end-to-end) 딥러닝 모델과 달리, 제안된 접근 방식은 물리적 기반의 포렌식 단서를 명시적으로 인코딩하여 투명한 분석과 향상된 다중 데이터셋 일반화를 가능하게 합니다. 이 파이프라인은 비디오를 신원 일관적인 얼굴 궤적으로 변환하고, 이를 고정 길이의 시간 윈도우로 분할한 뒤, 측광(photometric), 텍스처(textural), 기하학적(geometric), 압축 기반(compression-based) 특징이라는 네 가지 상호 보완적인 도메인에 걸친 68개의 구조화된 기술자(descriptor)를 사용하여 각 프레임을 표현합니다. 이러한 기술자들은 조작 아티팩트에 대한 간결한 다중 도메인 표현을 제공하며, 시간적 의존성과 미세한 불규칙성을 포착하기 위해 장단기 메모리(LSTM) 네트워크에 의해 처리됩니다. FaceForensics++, Celeb-DF v2, DeepFake Detection Challenge(DFDC)의 큐레이션된 서브셋, DeeperForensics 등 네 가지 벤치마크 데이터셋에 대한 평가에서 각각 98.0%, 91.0%, 97.6%, 96.2%의 강력하고 일관된 F1-점수를 달성했습니다. 또한 본 접근 방식은 우수한 교차 데이터셋 일반화 성능을 입증하여, 비디오 딥페이크 탐지를 위한 견고하고 해석 가능한 솔루션을 제공합니다.