Human Perception of Audio Deepfakes
원문 초록
The recent emergence of deepfakes has brought manipulated and generated content to the forefront of machine learning research. Automatic detection of deepfakes has seen many new machine learning techniques, however, human detection capabilities are far less explored. In this paper, we present results from comparing the abilities of humans and machines for detecting audio deepfakes used to imitate someone's voice. For this, we use a web-based application framework formulated as a game. Participants were asked to distinguish between real and fake audio samples. In our experiment, 472 unique users competed against a state-of-the-art AI deepfake detection algorithm for 14912 total of rounds of the game. We find that humans and deepfake detection algorithms share similar strengths and weaknesses, both struggling to detect certain types of attacks. This is in contrast to the superhuman performance of AI in many application areas such as object detection or face recognition. Concerning human success factors, we find that IT professionals have no advantage over non-professionals but native speakers have an advantage over non-native speakers. Additionally, we find that older participants tend to be more susceptible than younger ones. These insights may be helpful when designing future cybersecurity training for humans as well as developing better detection algorithms.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
명시적 포렌식 특징과 시계열 모델링을 통한 비디오 내 해석 가능한 딥페이크 탐지
Interpretable Deepfake Detection in Videos via Explicit Forensic Features and Temporal Modeling
조작된 콘텐츠가 프레임 단위에서는 시각적으로 일관되어 보일 수 있지만 미세한 시간적 불일치를 나타낼 수 있기 때문에, 비디오에서의 딥페이크(deepfake) 탐지는 여전히 어려운 과제로 남아 있습니다. 본 논문은 비디오 시퀀스에서 공간적 및 시간적으로 일관된 얼굴 특징을 모델링하는 해석 가능한 딥페이크 탐지 프레임워크를 소개합니다. 암묵적 표현(implicit representations)에 의존하는 엔드투엔드(end-to-end) 딥러닝 모델과 달리, 제안된 접근 방식은 물리적 기반의 포렌식 단서를 명시적으로 인코딩하여 투명한 분석과 향상된 다중 데이터셋 일반화를 가능하게 합니다. 이 파이프라인은 비디오를 신원 일관적인 얼굴 궤적으로 변환하고, 이를 고정 길이의 시간 윈도우로 분할한 뒤, 측광(photometric), 텍스처(textural), 기하학적(geometric), 압축 기반(compression-based) 특징이라는 네 가지 상호 보완적인 도메인에 걸친 68개의 구조화된 기술자(descriptor)를 사용하여 각 프레임을 표현합니다. 이러한 기술자들은 조작 아티팩트에 대한 간결한 다중 도메인 표현을 제공하며, 시간적 의존성과 미세한 불규칙성을 포착하기 위해 장단기 메모리(LSTM) 네트워크에 의해 처리됩니다. FaceForensics++, Celeb-DF v2, DeepFake Detection Challenge(DFDC)의 큐레이션된 서브셋, DeeperForensics 등 네 가지 벤치마크 데이터셋에 대한 평가에서 각각 98.0%, 91.0%, 97.6%, 96.2%의 강력하고 일관된 F1-점수를 달성했습니다. 또한 본 접근 방식은 우수한 교차 데이터셋 일반화 성능을 입증하여, 비디오 딥페이크 탐지를 위한 견고하고 해석 가능한 솔루션을 제공합니다.
말하는 얼굴 딥페이크 탐지를 위한 상보적 rPPG 유래 및 입술 영역 주파수 단서
Complementary rPPG-Derived and Lip-Region Frequency Cues for Talking-Face Deepfake Detection
말하는 얼굴(talking-face, TF) 딥페이크는 생성기(generator)마다 rPPG 기반 방법의 탐지 성능이 고르지 않다. 우리는 피험자 독립(subject-independent) 프로토콜 하에서 Celeb-DF++의 7가지 TF 방법에 대해, RhythmFormer로 추출한 rPPG 유래 파형과 입술 영역 이산 코사인 변환(discrete cosine transform, DCT) 계수라는 두 가지 경량 시각 전용(visual-only) 단서를 연구한다. 도메인 내(in-domain)에서는 SadTalker를 제외한 모든 방법에서 입술 영역 DCT가 rPPG 유래 1D ResNet과 동등하거나 더 우수하며, Concat 융합은 단일 모달(unimodal) 기준선의 AUC 0.824 및 0.827에 대해 AUC 0.891에 도달한다. 생성기 하나 제외(leave-one-generator-out) 평가에서는 두 단서가 갈라진다: 각각은 보류(hold-out)된 세 방법으로 더 뚜렷이 전이(transfer)되며, IP-LAP은 두 단서 모두에서 거의 무작위(near chance) 수준이다. Concat은 평균 0.798이지만 DCT 전이가 약한 경우 rPPG 단독보다 낮아져, 정적(static) 융합은 이러한 상보성을 부분적으로만 활용한다. 입술 영역 DCT는 7가지 방법 중 6가지에서 전체 얼굴 DCT보다 우수하다. 우리는 rPPG 유래 신호를 경험적(empirical) 단서로 취급하며, 그�이 심장(cardiac) 기원임을 주장하지 않는다.
견고한 강의실 출석을 향하여: 얼굴 검출 및 인식 모델의 종합 평가
Towards Robust Classroom Attendance: A Comprehensive Evaluation of Face Detection and Recognition Models
수기 출석 방식(종이나 명부 기반 시스템 등)은 시간이 많이 걸리고, 오류를 유발할 수 있으며, 위조하기 쉽다. 얼굴 인식은 더 신뢰할 수 있지만, 조명 및 기타 조건이 달라질 수 있는 강의실 환경에서는 자주 어려움을 겪는다. 얼굴 인식 데이터셋은 통제된 환경을 위해 설계되어 강의실에서 실제로 마주치는 어려움을 반영하지 못한다. 이를 해결하기 위해 얼굴 검출 및 인식 작업을 위해 16,234개의 얼굴 샘플로 구성된 새로운 얼굴 검출 및 인식 데이터셋인 Visage Face 데이터셋을 제안한다. 사진은 다양한 각도와 조명 조건에서 촬영되었으며, 학생들이 다양한 표정을 보이고 일부 얼굴은 실제 상황을 반영하기 위해 부분적으로 가려져 있다. YOLO 기반 시스템으로 얼굴을 검출하고, LVFace, QCFace, FaceLiVTv2, TopoFR, EdgeFace, TransFace, GhostFaceNets 등 7개의 고급 얼굴 인식 모델을 13가지 구성으로 테스트하였다. 이 중 FaceLiVTv2-M이 Top-1/Top-5 정확도 99.75%와 추론 시간 6.459 ms로 최고 성능을 보였다. 이러한 결과는 Visage Face Dataset이 강의실 출석을 위한 얼굴 인식에 있어 현실적이고 도전적인 벤치마크임을 보여준다.
DFD-Lab: 모듈형 오디오-비주얼 딥페이크 탐지 파이프라인
DFD-Lab: A Modular Audio-Visual Deepfake Detection Pipeline
오디오-비주얼 딥페이크 탐지기(audio-visual deepfake detector)를 비교하려면 데이터셋 적응, 시간적 입력 표현(temporal input representation), 모델 인터페이스, 실험 조건을 함께 조율해야 한다. 본 논문은 이러한 책임들을 분리하면서도 공통된 학습 및 평가 워크플로를 지원하는 모듈형 파이프라인인 DFD-Lab을 제시한다. 우리는 Xception 기반 최대 로짓(maximum-logit) 융합, 시간적 LSTM 융합을 사용하는 ResNet, 그리고 우리가 재구현한 AVFF의 세 가지 구현을 통합한다. 실험은 외부 테스트, 열화(degradation) 기반 학습 증강(training augmentation), 그리고 평가 시점의 손상(corruption)을 다룬다. Deepfake-Eval-2024의 필터링된 하위 집합(subset)에서, FakeAVCeleb으로 학습된 모델들은 각각 0.504, 0.538, 0.458의 기준선 AUROC 값을 달성한다. JPEG50 학습 증강은 이 값을 각각 0.691, 0.605, 0.570으로 높이는 반면, 세 모델의 정확도는 모두 감소한다. 이러한 결과는 학습 개입, 평가 손상, 그리고 지표에 따라 달라지는 결과가 공통 파이프라인 내에서 왜 구분되어야 하는지를 보여준다. 본 연구의 기여는 오디오-비주얼 처리, 상호 교체 가능한 탐지기, 그리고 설정 가능한 실험 워크플로의 통합이며, 이는 실증적 사례 연구(case study)로 뒷받침된다. 이 연구 결과는 데이터셋 간(cross-dataset) 탐지의 어려움과 순위화(ranking) 지표 및 분류 지표가 제공하는 상호 보완적 정보를 강조한다.
적응형 정체성 앵커링: 비디오 얼굴 스와핑을 위한 합성 페어드 지도의 폐루프 키프레임 배치
Adaptive Identity Anchoring: Closed-Loop Keyframe Placement for Synthetic Paired Supervision in Video Face Swapping
비디오 얼굴 스와핑에는 자연스러운 페어드 지도(paired supervision)가 없다. 한 사람의 얼굴이 다른 사람의 비디오 동작을 수행하는 실제 영상은 존재하지 않는다. 현재 가장 강력한 해답인 DreamID-V의 SyncID-Pipe는 실제 클립의 정확히 두 프레임—첫 프레임과 마지막 프레임—에서 정체성(identity)을 교체하고, 나머지는 포즈(pose) 시퀀스만으로 재생성하여 페어를 생성한다. 포즈는 스와핑된 정체성의 외형 정보를 담지 않으므로, 긴 클립, 가림(occlusion), 극단적인 포즈 변화에서 합성된 정체성은 앵커링되지 않은 긴 구간을 거치며 표류(drift)할 수 있다. 공개된 ablation 연구 중 앵커 개수나 배치를 검토한 것은 없다. 우리는 적응형 정체성 앵커링(AIA)을 제안한다: (i) 합성기를 임의의 앵커 집합에 일반화하며, 이는 프레임에 대한 조건화가 해당 토큰의 노이즈를 0으로 고정(clamping)하는 diffusion-forcing 스타일 트랜스포머에 구조적으로 자연스럽다; (ii) 폐루프(closed-loop) 피드백 루프로 앵커를 배치하며, 생성된 모든 프레임을 실제 참조 정체성과 대조해 점수를 매기고, 페어가 임계값을 통과하거나 예산을 소진할 때까지 최저 점수 프레임에 이미지 얼굴 스와핑 앵커를 삽입한다; (iii) 루프의 판정을 자동 데이터 필터로 재사용한다. 두 번째 병리 현상인 과도하게 매끄러운 피부의 뷰티 필터(beauty-filter) 느낌도 같은 근본 원인을 갖는다. 미세 텍스처(micro-texture)는 정체성과 마찬가지로 파이프라인의 어떤 목적 함수에도 반영되지 않는다. 따라서 우리는 AIA를 현실 참조 텍스처 복원(Reality-Referenced Texture Restoration)과 결합한다. 각 실제 프레임의 비얼굴 영역에서의 매칭된 re-graining, 실제 영상으로부터의 정체성 이하(sub-identity) 미세 텍스처의 밴드 분할(band-split) 전이, 그리고 영상 자체의 스펙트럼이 심판하는 두 번째 스펙트럴 수용 채널을 포함한다. 정체성 앵커 밀도는 조절 가능한 품질 다이얼이라고 주장하며, 제안을 검증하거나 반박할 수 있는 반증 가능한 실험—표류 대 간격 곡선, 동일 예산에서의 균등 대 적응형 배치, AIA로 생성된 데이터에 대한 student 학습, 인간 뷰티 필터 연구를 포함한 텍스처 ablation—을 명시한다.
지속적으로 진화하는 딥페이크 탐지: 동적 탐지 시스템의 아키텍처 및 공개 벤치마크 평가
Continuously Evolving Deepfake Detection: An Architecture and Public-Benchmark Evaluation of a Dynamic Detection System
학술 벤치마크에서 거의 완벽한 점수를 달성하는 딥페이크 탐지기는 실세계 콘텐츠에서는 성능이 급격히 무너집니다. 최근 in-the-wild 평가에서는 최신(state-of-the-art) 오픈소스 모델의 AUC가 45-50% 하락한다고 보고됩니다. 우리는 이 격차가 구조적이라고 주장합니다. 정적 탐지기는 계속 변화하는 생성 프론티어에 대해 한 번만 학습되기 때문입니다. 우리는 Bittensor SN34를 통해 학습된 BitMind Forensics(BMF)를 제안합니다. Bittensor SN34는 학습 분포를 지속적으로 갱신하는 공개 적대적(adversarial) 경쟁입니다. 우리는 이미지, 일반 비디오, 인간 비디오 체크포인트를 포함하는 하나의 특정 시점 export를 19개의 공개 데이터셋에서 평가합니다. 여기에는 표준 face-swap 스위트(FaceForensics++, Celeb-DF v1/v2/++, DFDC, DFD, UADFV, DF40)와 최근 in-the-wild 및 AI 생성 미디어 벤치마크(Sumsub, Deepfake-Eval-2024, WildRF, Community Forensics, AIGCDetectBench, GenImage, AI-GenBench, AIGIBench, RAID, GenVidBench, GenVideo-100K)가 포함됩니다. BMF는 Sumsub의 원본 이미지에서 0.936 AUC를 달성하고, 전체 4조건 조작 배터리(140만 이미지)에 대한 pooled AUC 0.872를 기록합니다. perturbation 하에서도 견고하며(0.855 JPEG, 0.799 downscaled), GPEN enhancement는 탐지 성능을 향상시킵니다(0.996). Deepfake-Eval-2024에서 BMF는 이미지에서 최고의 상용 탐지기와 동등합니다(0.915 vs 0.90)고, 비디오에서는 이를 초과합니다(0.822 vs 0.79). 이는 최고의 오픈소스 탐지기(0.56 및 0.63)보다 훨씬 높습니다. 21개 생성기 AI 이미지 패널에서 0.991 AUC, GenVidBench에서 0.918 AUC를 달성하며, DFDC(0.947 vs 0.843) 및 Celeb-DF v2(0.9985 vs 0.956)에서 FF++로 학습된 frontier를 초과합니다. 둘 다 오염 검증(contamination-audited)되었으며, Celeb-DF++에서는 통계적 동등성을 보입니다. 시간적 연구에서 연속된 특정 시점 export는 정적 기준선의 학습에 없던 생성기의 held-out 미디어에서 성능이 향상됩니다(이미지 0.842→0.902; 비디오 0.864→0.936). 평가 하네스는 공개되어 있으며, 출판 시점에 프로덕션 API는 독립적 검증을 위해 평가된 정확한 스냅샷을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.