Talking-face (TF) deepfake generation synthesizes photorealistic facial video from a static source image and an audio signal, producing forgeries that current image-based detectors consistently fail to identify. Unlike face-swap manipulation, TF synthesis has no underlying real video from which to inherit physiological characteristics, motivating remote photoplethysmography (rPPG) as a detection modality for this forgery category. We propose PulseGuard, a detection framework that extracts per-window rPPG waveforms via RhythmFormer and trains a suite of lightweight classifiers to distinguish real from synthesized traces. Evaluated on the TF subset of Celeb-DF++ under a strict subject-independent protocol, where test identities are completely separated from training identities, our 1D ResNet achieves a window-level AUC of 0.826 at EER 25.1% (0.842 pooled to video level, the granularity at which DeepFakesON-Phys is scored) while operating exclusively on the extracted temporal signal, and retains AUC 0.754 on generators withheld entirely from training. We document a controlled reproduction study of DeepFakesON-Phys, the representative prior rPPG detector, demonstrating degradation from AUC 0.999 on legacy face-swap data to 0.576 on the TF subset of Celeb-DF++. We further show that detection difficulty is strongly method-dependent: AUC ranges from 0.937 (Real3DPortrait) to 0.617 (IP-LAP) across the seven TF generators, with the ordering broadly preserved under per-method training. This spread is stable across training regimes rather than reflecting evaluation noise, and constitutes the primary empirical contribution of the work. We report these as empirical baselines and do not establish that the discriminative content is cardiac in origin.
말하는 얼굴(talking-face, TF) 딥페이크는 생성기(generator)마다 rPPG 기반 방법의 탐지 성능이 고르지 않다. 우리는 피험자 독립(subject-independent) 프로토콜 하에서 Celeb-DF++의 7가지 TF 방법에 대해, RhythmFormer로 추출한 rPPG 유래 파형과 입술 영역 이산 코사인 변환(discrete cosine transform, DCT) 계수라는 두 가지 경량 시각 전용(visual-only) 단서를 연구한다. 도메인 내(in-domain)에서는 SadTalker를 제외한 모든 방법에서 입술 영역 DCT가 rPPG 유래 1D ResNet과 동등하거나 더 우수하며, Concat 융합은 단일 모달(unimodal) 기준선의 AUC 0.824 및 0.827에 대해 AUC 0.891에 도달한다. 생성기 하나 제외(leave-one-generator-out) 평가에서는 두 단서가 갈라진다: 각각은 보류(hold-out)된 세 방법으로 더 뚜렷이 전이(transfer)되며, IP-LAP은 두 단서 모두에서 거의 무작위(near chance) 수준이다. Concat은 평균 0.798이지만 DCT 전이가 약한 경우 rPPG 단독보다 낮아져, 정적(static) 융합은 이러한 상보성을 부분적으로만 활용한다. 입술 영역 DCT는 7가지 방법 중 6가지에서 전체 얼굴 DCT보다 우수하다. 우리는 rPPG 유래 신호를 경험적(empirical) 단서로 취급하며, 그�이 심장(cardiac) 기원임을 주장하지 않는다.
본 논문에서는 라벨이 없는 얼굴 비디오에서 주기적 생리 신호의 일반화 가능한 시공간 표현을 학습하는 자기지도 학습 프레임워크인 Periodic-MAE를 제안합니다. 제안하는 방법은 마스크드 오토인코더(MAE)를 활용하며, 원격 광체적맥파(rPPG) 특화 지도에 의존하지 않고 마스크된 비디오 토큰을 재구성하여 고차원 얼굴 표현을 학습합니다. 표현 학습을 rPPG의 특성과 명시적으로 정렬하기 위해, 비디오 리샘플링에 기반한 주기성 인식 프레임 마스킹 전략을 도입하여, 인코더가 맥박 신호 추정과 관련된 준주기적 시간 패턴을 포착하는 표현을 학습하도록 합니다. 또한, MAE 사전학습 프레임워크에 생리학적 대역 제약을 통합하여, 주파수 영역에서 맥박 신호의 희소성을 활용하고 학습된 표현이 생리학적으로 의미 있는 패턴을 향하도록 유도합니다. 사전학습 후, 학습된 표현은 다운스트림 rPPG 추정으로 전이되며, 여기서 인코더는 얼굴 비디오에서 맥박 관련 신호를 복원하는 범용 특징 추출기로 작용합니다. PURE, UBFC-rPPG, MMPD, V4V를 포함한 4개의 벤치마크 데이터셋에 대해 광범위한 실험을 수행했습니다. 더불어, 제약 없는 조명 조건과 피험자의 움직임 하에서 수집된 실제 환경 rPPG 데이터셋에서 제안된 접근 방식을 평가했습니다. 실험 결과, Periodic-MAE가 rPPG 추정 성능을 일관되게 향상시킴을 보여주며, 특히 도전적인 크로스 데이터셋 및 실제 환경 평가 설정에서 두드러집니다. 우리의 코드는 https://github.com/ziiho08/Periodic-MAE에서 확인할 수 있습니다.
생체 신호 인식은 일상 환경에서 인간과 상호작용하는 서비스, 사회적, 보조 로봇에게 중요하다. 원격 광용적맥파 측정(rPPG)은 RGB 카메라로부터 비접촉 심박수(HR) 추정을 가능하게 하며, 로봇 탑재 비전 시스템을 위한 유망한 감지 모달리티다. 그러나 조명 변화는 강건한 배포에 있어 주요 장벽으로 남아 있다. 본 논문은 다양한 조명 조건의 새로운 데이터셋에서 원격 심박수 추정을 위한 엔드투엔드 공간-시간 트랜스포머 프레임워크를 제시한다. 우리의 추정기는 PRNet 기반 3D 얼굴 정렬, 클립 수준 조명 증강, 잔차 시간 표준화 모듈, 제어된 하이브리드 시간-주파수 지도를 통합한다. 학습 목적 함수는 Soft-Shifted Pearson 파형 손실과 스펙트럴 쿨백-라이블러 발산 손실을 결합하며, 조정된 가중치($\mathbf{β}$)가 주파수 도메인 심박수 지도의 기여도를 제어한다. 세 가지 조명 수준을 아우르는 정적 전체 수준 혼합 프로토콜에서의 실험 결과, $\mathbf{β}=5$가 테스트된 베타 설정 중 가장 강력한 결과를 제공하며, 최적 실행 심박수 평균 절대 오차(MAE) 0.79 bpm과 심박수 상관관계 0.982를 달성한다. 우리 데이터셋에서 평가된 PhysFormer 기준선과 비교하여, 우리의 추정기는 심박수 MAE를 93.6% 감소시키고 심박수 상관관계를 0.088에서 0.982로 향상시켜, 조명이 변화하는 환경에서도 사용 가능하다.