arXiv:2006.07634

DeepRhythm: Exposing DeepFakes with Attentional Visual Heartbeat Rhythms

Hua Qi, Qing Guo, Felix Juefei-Xu, Xiaofei Xie, Lei Ma, Wei Feng, Yang Liu, Jianjun Zhao

제출 2020-06-13

원문 초록

As the GAN-based face image and video generation techniques, widely known as DeepFakes, have become more and more matured and realistic, there comes a pressing and urgent demand for effective DeepFakes detectors. Motivated by the fact that remote visual photoplethysmography (PPG) is made possible by monitoring the minuscule periodic changes of skin color due to blood pumping through the face, we conjecture that normal heartbeat rhythms found in the real face videos will be disrupted or even entirely broken in a DeepFake video, making it a potentially powerful indicator for DeepFake detection. In this work, we propose DeepRhythm, a DeepFake detection technique that exposes DeepFakes by monitoring the heartbeat rhythms. DeepRhythm utilizes dual-spatial-temporal attention to adapt to dynamically changing face and fake types. Extensive experiments on FaceForensics++ and DFDC-preview datasets have confirmed our conjecture and demonstrated not only the effectiveness, but also the generalization capability of \emph{DeepRhythm} over different datasets by various DeepFakes generation techniques and multifarious challenging degradations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.06339v2cs.CV공통 태그 Video Generation, DeepFake Detection

BabelFake: 다국어 시청각 딥페이크 벤치마크

BabelFake: A Multilingual Audio-Visual DeepFake Benchmark

신뢰성 있고 실용적인 시청각 딥페이크(DeepFake) 탐지를 위해서는 다양한 언어적 맥락과 함께 오디오 및 시각적 조작을 위한 현대적 데이터 합성 파이프라인을 반영한 벤치마크(benchmark)가 필요합니다. 그러나 기존 데이터셋(dataset)은 주로 영어 화자의 영상에 치우쳐 있거나 구식 조작 방식을 포함하는 경우가 많으며, 오디오 모달리티를 간과하기도 합니다. 또한 많은 데이터셋이 딥페이크 제작에 동의하지 않은 개인을 포함하고 있습니다. 본 연구에서는 동의한 참가자들을 대상으로 녹화된 다국어 시청각 딥페이크 벤치마크인 BabelFake를 소개합니다. BabelFake는 5개 언어(영어, 독일어, 이탈리아어, 프랑스어, 스페인어)에 걸친 496명의 개인으로부터 수집된 39만 9천 개의 클립(1,323시간)을 포함합니다. 본 연구의 모듈형 데이터 생성 파이프라인은 11가지 최신 비디오 조작 기법과 4가지 음성 복제 엔진을 결합하여, 시각 전용 조작(얼굴 교체)과 시청각 결합 조작(립싱크 및 인물 애니메이션)을 구분합니다. 최첨단 탐지기들을 벤치마킹함으로써, 탐지 난이도가 시청각 생성 조합 방식에 따라 달라지며 원본 오디오가 보존될 때 성능이 크게 저하됨을 보입니다. 언어/인구통계학적 교차 평가(evaluation)를 통해 탐지기 아키텍처 및 학습(training) 데이터에 따라 민감도가 달라짐을 밝혔으며, 인간 평가를 통해 인지된 사실성과 기계 탐지 난이도가 반드시 일치하지는 않음을 확인했습니다.

arXiv:2607.00948v2cs.CV공통 태그 Video Generation, DeepFake Detection

움직임 기반 AI 생성 비디오 탐지에서의 데이터셋 바이어스 및 지름길 학습

Dataset Biases and Shortcut Learning in Motion-Based AI-Generated Video Detection

최근 몇 년 동안 AI 생성 비디오의 시각적 품질이 비약적으로 향상되면서, 인간이 실제 미디어와 합성 미디어를 구별하기가 점점 더 어려워지고 있습니다. 본 연구에서는 최첨단(state-of-the-art) 움직임 기반 AI 생성 비디오 탐지기 4종의 견고성(robustness)과 적용 가능성을 평가합니다. 우리는 4가지 방법 중 3가지에서 중대한 전처리 및 샘플링 바이어스를 식별하고, 이것이 보고된 성능의 상당 부분을 차지함을 입증합니다. 나아가 이러한 탐지기들이 평가 데이터셋에 특화된 움직임 패턴에 매우 민감하며, 해당 데이터셋에서는 AI 생성 비디오가 실제 비디오보다 프레임 간 움직임이 대체로 적게 나타난다는 점을 밝혀냅니다. 또한 이러한 움직임 바이어스가 없는 데이터셋에서 평가할 경우 모든 탐지기의 성능이 무작위 추측에 가까운 수준으로 급락함을 보입니다. 아울러 데이터셋 재균형(rebalancing)과 단순한 공간 증강(spatial augmentations) 적용을 통해, 평가된 모든 모델에서 심각한 성능 저하가 발생함을 관찰했습니다. 반면, 기존의 주파수 기반 탐지기는 평가된 모든 데이터셋에서 우수한 성능을 유지함을 확인하였으며, 이는 주파수 기반 접근법이 AI 생성 비디오 탐지에서 더 일반화 가능한 방향성을 제시할 수 있음을 시사합니다. 본 연구가 이러한 취약점에 대한 경각심을 높이고, 더욱 대표성 있고 편향되지 않은 데이터셋과 견고한 평가 프로토콜 개발을 촉진하기를 기대합니다.

arXiv:2607.21434v1cs.CV공통 태그 Face Swapping, Video Generation

적응형 정체성 앵커링: 비디오 얼굴 스와핑을 위한 합성 페어드 지도의 폐루프 키프레임 배치

Adaptive Identity Anchoring: Closed-Loop Keyframe Placement for Synthetic Paired Supervision in Video Face Swapping

비디오 얼굴 스와핑에는 자연스러운 페어드 지도(paired supervision)가 없다. 한 사람의 얼굴이 다른 사람의 비디오 동작을 수행하는 실제 영상은 존재하지 않는다. 현재 가장 강력한 해답인 DreamID-V의 SyncID-Pipe는 실제 클립의 정확히 두 프레임—첫 프레임과 마지막 프레임—에서 정체성(identity)을 교체하고, 나머지는 포즈(pose) 시퀀스만으로 재생성하여 페어를 생성한다. 포즈는 스와핑된 정체성의 외형 정보를 담지 않으므로, 긴 클립, 가림(occlusion), 극단적인 포즈 변화에서 합성된 정체성은 앵커링되지 않은 긴 구간을 거치며 표류(drift)할 수 있다. 공개된 ablation 연구 중 앵커 개수나 배치를 검토한 것은 없다. 우리는 적응형 정체성 앵커링(AIA)을 제안한다: (i) 합성기를 임의의 앵커 집합에 일반화하며, 이는 프레임에 대한 조건화가 해당 토큰의 노이즈를 0으로 고정(clamping)하는 diffusion-forcing 스타일 트랜스포머에 구조적으로 자연스럽다; (ii) 폐루프(closed-loop) 피드백 루프로 앵커를 배치하며, 생성된 모든 프레임을 실제 참조 정체성과 대조해 점수를 매기고, 페어가 임계값을 통과하거나 예산을 소진할 때까지 최저 점수 프레임에 이미지 얼굴 스와핑 앵커를 삽입한다; (iii) 루프의 판정을 자동 데이터 필터로 재사용한다. 두 번째 병리 현상인 과도하게 매끄러운 피부의 뷰티 필터(beauty-filter) 느낌도 같은 근본 원인을 갖는다. 미세 텍스처(micro-texture)는 정체성과 마찬가지로 파이프라인의 어떤 목적 함수에도 반영되지 않는다. 따라서 우리는 AIA를 현실 참조 텍스처 복원(Reality-Referenced Texture Restoration)과 결합한다. 각 실제 프레임의 비얼굴 영역에서의 매칭된 re-graining, 실제 영상으로부터의 정체성 이하(sub-identity) 미세 텍스처의 밴드 분할(band-split) 전이, 그리고 영상 자체의 스펙트럼이 심판하는 두 번째 스펙트럴 수용 채널을 포함한다. 정체성 앵커 밀도는 조절 가능한 품질 다이얼이라고 주장하며, 제안을 검증하거나 반박할 수 있는 반증 가능한 실험—표류 대 간격 곡선, 동일 예산에서의 균등 대 적응형 배치, AIA로 생성된 데이터에 대한 student 학습, 인간 뷰티 필터 연구를 포함한 텍스처 ablation—을 명시한다.

arXiv:2607.10787v1cs.CV공통 태그 Video Generation, DeepFake Detection

AI 생성 비디오 탐지: 비전-언어 이중 관점 서베이

Detecting AI-Generated Video: A Vision-Language Dual-View Survey

AI 생성 비디오(AIGC-V)의 사실적 표현이 급속도로 향상됨에 따라 기존의 아티팩트 중심 탐지 방식이 점차 한계를 드러내고 있으며, 저수준 검사에서 고수준 의미 검증으로의 패러다임 전환이 요구되고 있다. 본 논문은 AIGC-V 탐지에 관한 종합적인 서베이를 제시하며, 이 과제를 사실적 충실도 검증(Factual Fidelity Verification)으로 재정의한다. 이는 비디오에 묘사된 사건, 개체, 물리적 과정이 실제 사실과 일치하는지를 묻는 문제이다. 이 빠르게 진화하는 분야를 체계화하기 위해, 우리는 기존 방법들을 내재적 단서 분석, 시공간 일관성 모델링, 교차 모달 일관성 추론, 언어 기반 세계 수준 추론의 네 개 층(layer)으로 구성된 계층적 분류 체계인 비전-언어 이중 관점(Vision-Language Dual-View) 분류 체계를 제안한다. 이 이중 관점 프레임은 기존 딥페이크 탐지의 아티팩트 매칭에서 비전-언어 모델과 에이전트(agentic) 추론 파이프라인이 가능케 하는 증거 기반 의미 검증으로의 근본적인 전환을 부각시킨다. 221편의 연구에 대한 체계적 검토를 바탕으로, AIGC-V 생성 패러다임을 종합하고, 탐지 방법의 전반적 현황을 조망하며, 제안된 관점에 따라 평가 지표 및 벤치마크를 검토한다. 마지막으로 현재의 과제를 논의하고 강건하고 설명 가능하며 신뢰할 수 있는 탐지를 위한 유망한 방향을 제시한다.

arXiv:2607.08705v1cs.CV공통 태그 Video Generation, DeepFake Detection

HumanForge: 멀티 에이전트 위조 근거를 갖춘 인간 중심 딥페이크 영상 벤치마크

HumanForge: A Human-Centric Deepfake Video Benchmark with Multi-Agent Forgery Rationales

비디오 확산 모델과 시간적 편집 도구의 급격한 발전으로 매우 사실적인 인간 중심 영상 생성이 가능해졌으며, 이는 디지털 콘텐츠 포렌식에 전례 없는 도전 과제를 제기하고 있다. 기존 벤치마크는 주로 얼굴 교체 또는 글로벌 텍스트-투-비디오 합성에 초점을 맞추고 있어, 인간-사물 또는 인간-인간 상호작용과 멀티모달 정렬이라는 중요한 차원을 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 통합된 대규모 다중 패러다임 인간 중심 영상 위조 데이터셋인 HumanForge를 소개한다. 노동 집약적인 수동 레이블링이나 환각을 일으키는 단일 프롬프트 없이 이 데이터셋을 구축하고 주석을 달기 위해, 우리는 LangGraph 위에 구축된 모듈식 능동 멀티 에이전트 파이프라인인 Gen2Anno를 제안한다. Gen2Anno는 소스 프로파일링부터 전문가 혼합(MoE) 기반 참조 분석 및 폐루프 포렌식 검증에 이르기까지 6개의 전문화된 에이전트를 조율하여, 18,000개 이상의 고충실도 영상 세그먼트를 생성하고 이진 결정, 세밀한 아티팩트 범주, 시공간적 위치 지정을 포함하는 구조화된 대조적 옴니 주석을 생성한다. 최신 전통적 탐지기와 대규모 멀티모달 모델(LMM)을 사용한 광범위한 벤치마크는 HumanForge에서의 제로샷 일반화 및 세밀한 추론의 중요한 도전 과제를 보여준다. 코드와 데이터셋은 공개적으로 공개될 예정이다.

arXiv:2607.02886v1cs.CV공통 태그 Video Generation, DeepFake Detection

SPLIT: 공간 패치 수준 비일관성과 시간적 거칠기를 통한 학습 불필요 AI 생성 및 부분 편집 영상 탐지

SPLIT: Training-Free AI-Generated and Partially Edited Video Detection via Spatial Patch-Level Incoherence and Temporal Roughness

실제 서비스에 AI 생성 영상 탐지기를 배포하려면 실제 콘텐츠를 잘못 거부하지 않기 위해 실제 영상에 대한 극도로 낮은 거짓 양성률(FPR)이 요구되며, 이는 AUROC와 같은 표준 지표가 실제 운영 동작을 반영하지 못하는 영역이다. 우리는 공간 패치 수준 비일관성 및 시간적 거칠기(SPLIT)를 소개한다. SPLIT은 동결된 비전 인코더의 패치 토큰에서 동작하는 학습 불필요(training-free) 탐지기로, 완전히 생성된 영상과 부분적으로 편집된 영상 모두를 탐지한다. SPLIT은 두 가지 상호 보완적 신호를 계산한다: 1단계 및 2단계 특징(feature) 변화 대비를 통해 비매끄러운 패치 궤적을 포착하는 2단계 시간적 거칠기(TTR, Two-step Temporal Roughness)와, 특징 공간 모션 필드의 그래디언트를 통해 공간적으로 비일관적인 시간 변화를 측정하는 지역 공간 모션 비일관성(LSMI, Local Spatial Motion Incoherence)이다. 두 신호는 엄격한 임계값에서 실제-가짜 구분을 선명히 하기 위해 감마 보정과 함께 곱셈 방식으로 융합된다. 우리는 또한 실제 영상만을 이용한 임계값 보정 및 교차 실제 임계값 전이를 적용하여 고정 FPR에서의 가짜 재현율(Fake Recall)에 기반한 서비스 정합 평가 프로토콜을 추가로 제안한다. 세 가지 벤치마크(FakeParts, GenVideo, ViF-Bench)에 걸쳐 SPLIT은 FPR = 0.1%에서 가장 높은 가짜 재현율을 달성하며, 지도 학습 및 학습 불필요 기반선 방법을 크게 상회하는 동시에 무시할 수 있는 오버헤드로 후처리에 강건성을 유지한다. 코드는 https://github.com/mldljyh/SPLIT 에서 공개적으로 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.