PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21776v2cs.LG

PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection

Talking-face (TF) deepfake generation synthesizes photorealistic facial video from a static source image and an audio signal, producing forgeries that current image-based detectors consistently fail to identify. Unlike face-swap manipulation, TF synthesis has no underlying real video from which to inherit physiological characteristics, motivating remote photoplethysmography (rPPG) as a detection modality for this forgery category. We propose PulseGuard, a detection framework that extracts per-window rPPG waveforms via RhythmFormer and trains a suite of lightweight classifiers to distinguish real from synthesized traces. Evaluated on the TF subset of Celeb-DF++ under a strict subject-independent protocol, where test identities are completely separated from training identities, our 1D ResNet achieves a window-level AUC of 0.826 at EER 25.1% (0.842 pooled to video level, the granularity at which DeepFakesON-Phys is scored) while operating exclusively on the extracted temporal signal, and retains AUC 0.754 on generators withheld entirely from training. We document a controlled reproduction study of DeepFakesON-Phys, the representative prior rPPG detector, demonstrating degradation from AUC 0.999 on legacy face-swap data to 0.576 on the TF subset of Celeb-DF++. We further show that detection difficulty is strongly method-dependent: AUC ranges from 0.937 (Real3DPortrait) to 0.617 (IP-LAP) across the seven TF generators, with the ordering broadly preserved under per-method training. This spread is stable across training regimes rather than reflecting evaluation noise, and constitutes the primary empirical contribution of the work. We report these as empirical baselines and do not establish that the discriminative content is cardiac in origin.

arXiv:2609.22284v1cs.CV

말하는 얼굴 딥페이크 탐지를 위한 상보적 rPPG 유래 및 입술 영역 주파수 단서

Complementary rPPG-Derived and Lip-Region Frequency Cues for Talking-Face Deepfake Detection

말하는 얼굴(talking-face, TF) 딥페이크는 생성기(generator)마다 rPPG 기반 방법의 탐지 성능이 고르지 않다. 우리는 피험자 독립(subject-independent) 프로토콜 하에서 Celeb-DF++의 7가지 TF 방법에 대해, RhythmFormer로 추출한 rPPG 유래 파형과 입술 영역 이산 코사인 변환(discrete cosine transform, DCT) 계수라는 두 가지 경량 시각 전용(visual-only) 단서를 연구한다. 도메인 내(in-domain)에서는 SadTalker를 제외한 모든 방법에서 입술 영역 DCT가 rPPG 유래 1D ResNet과 동등하거나 더 우수하며, Concat 융합은 단일 모달(unimodal) 기준선의 AUC 0.824 및 0.827에 대해 AUC 0.891에 도달한다. 생성기 하나 제외(leave-one-generator-out) 평가에서는 두 단서가 갈라진다: 각각은 보류(hold-out)된 세 방법으로 더 뚜렷이 전이(transfer)되며, IP-LAP은 두 단서 모두에서 거의 무작위(near chance) 수준이다. Concat은 평균 0.798이지만 DCT 전이가 약한 경우 rPPG 단독보다 낮아져, 정적(static) 융합은 이러한 상보성을 부분적으로만 활용한다. 입술 영역 DCT는 7가지 방법 중 6가지에서 전체 얼굴 DCT보다 우수하다. 우리는 rPPG 유래 신호를 경험적(empirical) 단서로 취급하며, 그�이 심장(cardiac) 기원임을 주장하지 않는다.