PyTorchKR Papers

최신 논문

총 613편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:1909.05999

Towards Generalizable Deepfake Detection with Locality-aware AutoEncoder

With advancements of deep learning techniques, it is now possible to generate super-realistic images and videos, i.e., deepfakes. These deepfakes could reach mass audience and result in adverse impacts on our society. Although lots of efforts have been devoted to detect deepfakes, their performance drops significantly on previously unseen but related manipulations and the detection generalization capability remains a problem. Motivated by the fine-grained nature and spatial locality characteristics of deepfakes, we propose Locality-Aware AutoEncoder (LAE) to bridge the generalization gap. In the training process, we use a pixel-wise mask to regularize local interpretation of LAE to enforce the model to learn intrinsic representation from the forgery region, instead of capturing artifacts in the training set and learning superficial correlations to perform detection. We further propose an active learning framework to select the challenging candidates for labeling, which requires human masks for less than 3% of the training data, dramatically reducing the annotation efforts to regularize interpretations. Experimental results on three deepfake detection tasks indicate that LAE could focus on the forgery regions to make decisions. The analysis further shows that LAE outperforms the state-of-the-arts by 6.52%, 12.03%, and 3.08% respectively on three deepfake detection tasks in terms of generalization accuracy on previously unseen manipulations.

arXiv:1905.03493

Limits of Deepfake Detection: A Robust Estimation Viewpoint

Deepfake detection is formulated as a hypothesis testing problem to classify an image as genuine or GAN-generated. A robust statistics view of GANs is considered to bound the error probability for various GAN implementations in terms of their performance. The bounds are further simplified using a Euclidean approximation for the low error regime. Lastly, relationships between error probability and epidemic thresholds for spreading processes in networks are established.

arXiv:1901.08971공식 코드 · Papers with Code

FaceForensics++: Learning to Detect Manipulated Facial Images

The rapid progress in synthetic image generation and manipulation has now come to a point where it raises significant concerns for the implications towards society. At best, this leads to a loss of trust in digital content, but could potentially cause further harm by spreading false information or fake news. This paper examines the realism of state-of-the-art image manipulations, and how difficult it is to detect them, either automatically or by humans. To standardize the evaluation of detection methods, we propose an automated benchmark for facial manipulation detection. In particular, the benchmark is based on DeepFakes, Face2Face, FaceSwap and NeuralTextures as prominent representatives for facial manipulations at random compression level and size. The benchmark is publicly available and contains a hidden test set as well as a database of over 1.8 million manipulated images. This dataset is over an order of magnitude larger than comparable, publicly available, forgery datasets. Based on this data, we performed a thorough analysis of data-driven forgery detectors. We show that the use of additional domainspecific knowledge improves forgery detection to unprecedented accuracy, even in the presence of strong compression, and clearly outperforms human observers.

arXiv:1809.00888공식 코드 · Papers with Code

MesoNet: a Compact Facial Video Forgery Detection Network

This paper presents a method to automatically and efficiently detect face tampering in videos, and particularly focuses on two recent techniques used to generate hyper-realistic forged videos: Deepfake and Face2Face. Traditional image forensics techniques are usually not well suited to videos due to the compression that strongly degrades the data. Thus, this paper follows a deep learning approach and presents two networks, both with a low number of layers to focus on the mesoscopic properties of images. We evaluate those fast networks on both an existing dataset and a dataset we have constituted from online videos. The tests demonstrate a very successful detection rate with more than 98% for Deepfake and 95% for Face2Face.

arXiv:2610.06339v2cs.CV

BabelFake: 다국어 시청각 딥페이크 벤치마크

BabelFake: A Multilingual Audio-Visual DeepFake Benchmark

신뢰성 있고 실용적인 시청각 딥페이크(DeepFake) 탐지를 위해서는 다양한 언어적 맥락과 함께 오디오 및 시각적 조작을 위한 현대적 데이터 합성 파이프라인을 반영한 벤치마크(benchmark)가 필요합니다. 그러나 기존 데이터셋(dataset)은 주로 영어 화자의 영상에 치우쳐 있거나 구식 조작 방식을 포함하는 경우가 많으며, 오디오 모달리티를 간과하기도 합니다. 또한 많은 데이터셋이 딥페이크 제작에 동의하지 않은 개인을 포함하고 있습니다. 본 연구에서는 동의한 참가자들을 대상으로 녹화된 다국어 시청각 딥페이크 벤치마크인 BabelFake를 소개합니다. BabelFake는 5개 언어(영어, 독일어, 이탈리아어, 프랑스어, 스페인어)에 걸친 496명의 개인으로부터 수집된 39만 9천 개의 클립(1,323시간)을 포함합니다. 본 연구의 모듈형 데이터 생성 파이프라인은 11가지 최신 비디오 조작 기법과 4가지 음성 복제 엔진을 결합하여, 시각 전용 조작(얼굴 교체)과 시청각 결합 조작(립싱크 및 인물 애니메이션)을 구분합니다. 최첨단 탐지기들을 벤치마킹함으로써, 탐지 난이도가 시청각 생성 조합 방식에 따라 달라지며 원본 오디오가 보존될 때 성능이 크게 저하됨을 보입니다. 언어/인구통계학적 교차 평가(evaluation)를 통해 탐지기 아키텍처 및 학습(training) 데이터에 따라 민감도가 달라짐을 밝혔으며, 인간 평가를 통해 인지된 사실성과 기계 탐지 난이도가 반드시 일치하지는 않음을 확인했습니다.

arXiv:2510.03161v4cs.CV

UniShield: 통합 위조 이미지 탐지 및 위치 특정을 위한 적응형 멀티 에이전트 프레임워크

UniShield: An Adaptive Multi-Agent Framework for Unified Forgery Image Detection and Localization

이미지 생성 기술의 급격한 발전으로 합성 이미지가 점점 더 현실적으로 변하면서 오정보 및 사기와 같은 중대한 사회적 위험을 초래하고 있습니다. 이에 따라 위조 이미지 탐지 및 위치 특정(Forgery Image Detection and Localization, FIDL)은 정보 무결성과 사회적 보안을 유지하는 데 필수적인 기술로 떠올랐습니다. 기존 도메인 특화 탐지 방식들의 우수한 성능에도 불구하고, 좁은 특화 범위, 취약한 교차 도메인 일반화 능력, 그리고 통합된 적응형 프레임워크의 부재로 인해 실제 적용 가능성은 여전히 제한적입니다. 이러한 문제를 해결하기 위해, 본 논문에서는 이미지 조작, 문서 조작, 딥페이크(DeepFake), AI 생성 이미지를 포함한 다양한 도메인 전반에서 이미지 위조를 탐지하고 위치를 특정할 수 있는 새로운 멀티 에이전트 기반 통합 시스템인 UniShield를 제안합니다. UniShield는 인지 에이전트(perception agent)와 탐지 에이전트(detection agent)를 혁신적으로 통합합니다. 인지 에이전트는 이미지 특징을 지능적으로 분석하여 적합한 탐지 모델을 동적으로 선택하며, 탐지 에이전트는 다양한 전문 탐지기를 단일 프레임워크로 통합하고 해석 가능한 보고서를 생성합니다. 광범위한 실험을 통해 UniShield가 기존 통합 접근법과 도메인 특화 탐지기 모두를 능가하는 최고 수준(state-of-the-art)의 성능을 달성함을 보였으며, 우수한 실용성, 적응성 및 확장성을 입증했습니다.

arXiv:2506.23292v3cs.CV

DDL: 다양한 실제 환경 시나리오에서의 딥페이크 탐지 및 위치 특정을 위한 대규모 데이터셋

DDL: A Large-Scale Dataset for Deepfake Detection and Localization in Diversified Real-World Scenarios

최근 AI 생성 콘텐츠(AIGC)의 발전으로 악의적인 딥페이크 콘텐츠의 오용이 심화됨에 따라, 신뢰할 수 있는 딥페이크 탐지 방법의 개발은 이러한 문제를 해결하기 위한 필수적인 수단이 되었습니다. 기존 딥페이크 탐지 모델들이 탐지 지표에서 뛰어난 성능을 보이고 있음에도 불구하고, 대부분의 방법은 단순한 이진 분류(binary classification) 결과만을 제공하여 해석 가능성(interpretability)이 부족합니다. 최근 연구들은 공간적 조작 마스크나 시간적 위조 구간을 제공함으로써 분류 결과의 해석 가능성을 높이고자 시도했습니다. 그러나 위조 데이터셋(dataset)의 한계로 인해 이러한 방법들의 실질적인 효과는 여전히 미흡한 수준입니다. 그 주된 이유는 대부분의 기존 딥페이크 데이터셋이 이진 레이블만을 포함하고, 위조 시나리오의 다양성이 제한적이며, 딥페이크 유형의 다양성이 불충분하고, 데이터 규모가 비교적 작아 복잡한 실제 환경 시나리오에 적용하기에 부적합하기 때문입니다. 이러한 난제를 해결하기 위해, 본 연구에서는 140만 개 이상의 위조 샘플을 포함하고 80개의 서로 다른 딥페이크 방법을 포괄하는 새로운 대규모 딥페이크 탐지 및 위치 특정(DDL) 데이터셋을 구축합니다. DDL의 설계는 네 가지 핵심 혁신을 포함합니다: (1) 포괄적인 딥페이크 방법(7가지 서로 다른 생성 아키텍처와 총 80가지 방법 포함), (2) 다양한 조작 모드(7가지 고전적 위조 모드와 3가지 새로운 위조 모드 접목), (3) 다양한 위조 시나리오 및 모달리티(3가지 시나리오와 3가지 모달리티 포함), (4) 세밀한 위조 주석(118만 개 이상의 정밀한 공간 마스크와 23만 개 이상의 정밀한 시간 구간 제공). 이러한 개선을 통해 DDL은 복잡한 실제 환경의 위조에 대한 더욱 도전적인 벤치마크를 제공할 뿐만 아니라, 차세대 딥페이크 탐지, 위치 특정 및 해석 가능성 방법 구축을 위한 중요한 기반을 제공합니다.

arXiv:2607.00948v2cs.CV

움직임 기반 AI 생성 비디오 탐지에서의 데이터셋 바이어스 및 지름길 학습

Dataset Biases and Shortcut Learning in Motion-Based AI-Generated Video Detection

최근 몇 년 동안 AI 생성 비디오의 시각적 품질이 비약적으로 향상되면서, 인간이 실제 미디어와 합성 미디어를 구별하기가 점점 더 어려워지고 있습니다. 본 연구에서는 최첨단(state-of-the-art) 움직임 기반 AI 생성 비디오 탐지기 4종의 견고성(robustness)과 적용 가능성을 평가합니다. 우리는 4가지 방법 중 3가지에서 중대한 전처리 및 샘플링 바이어스를 식별하고, 이것이 보고된 성능의 상당 부분을 차지함을 입증합니다. 나아가 이러한 탐지기들이 평가 데이터셋에 특화된 움직임 패턴에 매우 민감하며, 해당 데이터셋에서는 AI 생성 비디오가 실제 비디오보다 프레임 간 움직임이 대체로 적게 나타난다는 점을 밝혀냅니다. 또한 이러한 움직임 바이어스가 없는 데이터셋에서 평가할 경우 모든 탐지기의 성능이 무작위 추측에 가까운 수준으로 급락함을 보입니다. 아울러 데이터셋 재균형(rebalancing)과 단순한 공간 증강(spatial augmentations) 적용을 통해, 평가된 모든 모델에서 심각한 성능 저하가 발생함을 관찰했습니다. 반면, 기존의 주파수 기반 탐지기는 평가된 모든 데이터셋에서 우수한 성능을 유지함을 확인하였으며, 이는 주파수 기반 접근법이 AI 생성 비디오 탐지에서 더 일반화 가능한 방향성을 제시할 수 있음을 시사합니다. 본 연구가 이러한 취약점에 대한 경각심을 높이고, 더욱 대표성 있고 편향되지 않은 데이터셋과 견고한 평가 프로토콜 개발을 촉진하기를 기대합니다.

arXiv:2510.16320v2cs.CV

딥페이크 탐지를 위한 스케일링 법칙

Scaling Laws for Deepfake Detection

본 논문에서는 딥페이크 탐지 태스크를 위한 스케일링 법칙(scaling laws)에 대한 체계적인 연구를 제시합니다. 구체적으로, 실제 이미지 도메인의 수, 딥페이크 생성 기법의 수, 그리고 학습(training) 이미지의 수에 따른 모델(model) 성능을 분석합니다. 기존 데이터셋(dataset) 중 본 연구의 규모 요구사항을 충족하는 데이터셋이 없기 때문에, 당 분야에서 현재까지 가장 큰 규모인 ScaleDF를 구축했습니다. ScaleDF는 51개의 서로 다른 데이터셋(도메인)에서 수집한 580만 개 이상의 실제 이미지와 102개의 딥페이크 기법으로 생성된 880만 개 이상의 가짜 이미지를 포함합니다. ScaleDF를 사용하여 대규모 언어 모델(LLM)에서 나타나는 것과 유사한 멱법칙 스케일링(power-law scaling)을 관찰했습니다. 특히, 실제 도메인 수나 딥페이크 기법 수가 증가함에 따라 평균 탐지 오류율은 예측 가능한 멱법칙 감소세를 보입니다. 이러한 핵심 관찰 결과는 목표 성능에 도달하는 데 필요한 추가 실제 도메인 수나 딥페이크 기법 수를 예측할 수 있게 해줄 뿐만 아니라, 데이터 중심(data-centric) 방식으로 진화하는 딥페이크 기술에 대응할 수 있는 통찰을 제공합니다. 이에 더해, 스케일링 환경 하의 딥페이크 탐지에서 사전학습(pre-training)과 데이터 증강(data augmentations)의 역할 및 스케일링 자체의 한계점을 조사합니다. ScaleDF 데이터셋은 https://huggingface.co/datasets/WenhaoWang/ScaleDF 에서 이용할 수 있습니다.

arXiv:2610.03380v1cs.CV

명시적 포렌식 특징과 시계열 모델링을 통한 비디오 내 해석 가능한 딥페이크 탐지

Interpretable Deepfake Detection in Videos via Explicit Forensic Features and Temporal Modeling

조작된 콘텐츠가 프레임 단위에서는 시각적으로 일관되어 보일 수 있지만 미세한 시간적 불일치를 나타낼 수 있기 때문에, 비디오에서의 딥페이크(deepfake) 탐지는 여전히 어려운 과제로 남아 있습니다. 본 논문은 비디오 시퀀스에서 공간적 및 시간적으로 일관된 얼굴 특징을 모델링하는 해석 가능한 딥페이크 탐지 프레임워크를 소개합니다. 암묵적 표현(implicit representations)에 의존하는 엔드투엔드(end-to-end) 딥러닝 모델과 달리, 제안된 접근 방식은 물리적 기반의 포렌식 단서를 명시적으로 인코딩하여 투명한 분석과 향상된 다중 데이터셋 일반화를 가능하게 합니다. 이 파이프라인은 비디오를 신원 일관적인 얼굴 궤적으로 변환하고, 이를 고정 길이의 시간 윈도우로 분할한 뒤, 측광(photometric), 텍스처(textural), 기하학적(geometric), 압축 기반(compression-based) 특징이라는 네 가지 상호 보완적인 도메인에 걸친 68개의 구조화된 기술자(descriptor)를 사용하여 각 프레임을 표현합니다. 이러한 기술자들은 조작 아티팩트에 대한 간결한 다중 도메인 표현을 제공하며, 시간적 의존성과 미세한 불규칙성을 포착하기 위해 장단기 메모리(LSTM) 네트워크에 의해 처리됩니다. FaceForensics++, Celeb-DF v2, DeepFake Detection Challenge(DFDC)의 큐레이션된 서브셋, DeeperForensics 등 네 가지 벤치마크 데이터셋에 대한 평가에서 각각 98.0%, 91.0%, 97.6%, 96.2%의 강력하고 일관된 F1-점수를 달성했습니다. 또한 본 접근 방식은 우수한 교차 데이터셋 일반화 성능을 입증하여, 비디오 딥페이크 탐지를 위한 견고하고 해석 가능한 솔루션을 제공합니다.

arXiv:2610.01544v1cs.CV

일반화 가능한 딥페이크 탐지를 위한 교차 재구성의 재조명

Revisiting Cross-Reconstruction for Generalizable Deepfake Detection

기존의 이미지 위변조 탐지기는 전이 가능한 포렌식 단서를 포착하는 능력이 제한되어 있어, 보지 못한(unseen) 조작 방식에 대한 일반화에 어려움을 겪는 경우가 많습니다. 최근 교차 재구성(cross-reconstruction) 기반 방식들은 의미론적 정보와 아티팩트의 분리(disentanglement)를 통해 일반화 성능을 향상시키고자 하지만, 일반적으로 여러 생성기에 걸친 이종 아티팩트를 정렬하고 재구성 과정에서 아티팩트 표현을 배제하므로 조작 아티팩트의 고유한 다양성과 시각적 단서를 간과할 수 있습니다. 본 연구에서는 교차 재구성을 재조명하고 강건한 이미지 위변조 탐지를 위한 아티팩트 지향 분리 프레임워크를 제안합니다. 우리는 서로 다른 생성 과정에서 발생하는 조작 아티팩트의 본질적 변이인 **아티팩트 다양성(artifact diversity)**이 바람직하지 않은 도메인 변이가 아니라 상호보완적인 포렌식 단서를 포함하고 있다고 주장합니다. 명시적인 아티팩트 정렬을 강제하는 대신, 본 프레임워크는 의미론적으로 정렬된 생성기간(cross-generator) 재구성을 통해 다양한 아티팩트 특성을 보존합니다. 나아가 재구성 과정에 아티팩트 표현을 통합하고 마스크 기반의 주파수 인지 재구성 전략을 도입하여 의미론적 간섭을 줄이면서 조작 관련 잔차를 강조합니다. 이러한 설계를 통해 모델은 다양한 아티팩트로부터 전이 가능한 포렌식 표현을 학습할 수 있습니다. 여러 벤치마크 데이터셋을 대상으로 한 광범위한 실험을 통해 교차 데이터셋 및 교차 생성기 평가 환경 모두에서 성능 향상을 입증합니다. 추가적인 분석과 절제 연구(ablation study)를 통해 아티팩트 다양성 보존과 아티팩트 인지 교차 재구성의 유효성을 검증합니다.

arXiv:2511.21507v2cs.CV

딥페이크 탐지기를 위한 일반화된 설계 선택

Generalized Design Choices for Deepfake Detectors

딥페이크 탐지 방법의 효과는 핵심 설계보다 데이터 전처리, 증강 전략, 최적화 기법과 같은 구현 세부사항에 더 크게 좌우되는 경우가 많다. 이러한 요인들 때문에 탐지기들을 공정하게 비교하고, 성능에 실제로 기여하는 요인이 무엇인지 파악하기가 어렵다. 이를 해결하기 위해, 우리는 서로 다른 설계 선택이 딥페이크 탐지 모델의 정확도와 일반화 능력에 어떤 영향을 미치는지 체계적으로 조사하며, 학습(training), 추론(inference), 점진적 업데이트와 관련된 측면에 초점을 둔다. 개별 요인의 영향을 분리함으로써, 향후 딥페이크 탐지 시스템의 설계와 개발을 위한 견고하고 아키텍처에 독립적인 모범 사례를 확립하고자 한다. 실험 결과, 딥페이크 탐지를 일관되게 향상시키고 AI-GenBench 벤치마크에서 최신(state-of-the-art) 성능을 가능하게 하는 일련의 설계 선택을 확인하였다.

arXiv:2502.14994v2cs.CV

REVEAL: 설명 가능한 AI 생성 영상 탐지를 위한 비전-언어 모델의 강건한 진화

REVEAL: Robust Evolution of Vision-Language Models for Explainable AI-Video Detection

AI 생성 영상의 빠른 발전은 디지털 진위성과 보안에 어려움을 야기한다. 현재의 탐지 방법들은 특정 데이터셋(dataset)으로 학습되는 경우가 많아, 끊임없이 진화하는 생성 기술 환경과 보지 못한 조작 방식에 어려움을 겪는다. 우리는 강건한 AI 생성 영상 탐지를 위해 비전-언어 모델(Vision Language Model, VLM)을 활용하는 프레임워크를 소개한다. 우리의 접근법은 VLM에 영상 콘텐츠에 대해 추론하고 외부 도구를 사용하여 미묘한 불일치를 식별하는 능력을 부여함으로써, 인간의 시스템 2 사고를 모방한다. 우리의 자가 진화형 VLM은 적절한 도구를 동적으로 선택하고 조합하여, 새로운 영상 생성 기술에 대한 일반화 능력을 향상시킨다. 모듈형 설계는 해석 가능성을 높여 VLM의 의사결정 과정을 더 명확하게 이해할 수 있게 한다. 평가를 위해, 우리는 8개의 생성 모델에 걸친 1,400개 이상의 고품질 AI 생성 영상으로 구성된 최초의 벤치마크(benchmark)인 VidForensic을 구축한다. 실험 결과 REVEAL은 GPT-4o, Gemini 1.5 pro, QWen-VL-Max, Llava-One-Vision-7B를 비롯한 VLM들에 대해 우리의 데이터셋 전반에서 상위 베이스라인 대비 F1 점수를 9.1%에서 30.2%까지 향상시키는 것으로 나타났다. 개방형 환경(open-world)에서의 AI 영상 탐지는 여전히 해결되지 않은 과제로 남아 있지만, 우리의 결과는 기존 방법들이 주로 도구 기반의 고차원적 추론 능력이 부족하기 때문에 실패한다는 것을 보여준다.

arXiv:2609.27371v1cs.HC

ASAP: AI 생성 이미지의 이미지 패턴 식별 및 분석을 위한 시각적 분석 시스템

ASAP: Visual Analytics for Identifying and Analyzing Image Patterns in AI-generated Images

생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.

arXiv:2609.23830v1cs.CV

DFD-Lab: 모듈형 오디오-비주얼 딥페이크 탐지 파이프라인

DFD-Lab: A Modular Audio-Visual Deepfake Detection Pipeline

오디오-비주얼 딥페이크 탐지기(audio-visual deepfake detector)를 비교하려면 데이터셋 적응, 시간적 입력 표현(temporal input representation), 모델 인터페이스, 실험 조건을 함께 조율해야 한다. 본 논문은 이러한 책임들을 분리하면서도 공통된 학습 및 평가 워크플로를 지원하는 모듈형 파이프라인인 DFD-Lab을 제시한다. 우리는 Xception 기반 최대 로짓(maximum-logit) 융합, 시간적 LSTM 융합을 사용하는 ResNet, 그리고 우리가 재구현한 AVFF의 세 가지 구현을 통합한다. 실험은 외부 테스트, 열화(degradation) 기반 학습 증강(training augmentation), 그리고 평가 시점의 손상(corruption)을 다룬다. Deepfake-Eval-2024의 필터링된 하위 집합(subset)에서, FakeAVCeleb으로 학습된 모델들은 각각 0.504, 0.538, 0.458의 기준선 AUROC 값을 달성한다. JPEG50 학습 증강은 이 값을 각각 0.691, 0.605, 0.570으로 높이는 반면, 세 모델의 정확도는 모두 감소한다. 이러한 결과는 학습 개입, 평가 손상, 그리고 지표에 따라 달라지는 결과가 공통 파이프라인 내에서 왜 구분되어야 하는지를 보여준다. 본 연구의 기여는 오디오-비주얼 처리, 상호 교체 가능한 탐지기, 그리고 설정 가능한 실험 워크플로의 통합이며, 이는 실증적 사례 연구(case study)로 뒷받침된다. 이 연구 결과는 데이터셋 간(cross-dataset) 탐지의 어려움과 순위화(ranking) 지표 및 분류 지표가 제공하는 상호 보완적 정보를 강조한다.

arXiv:2609.22284v1cs.CV

말하는 얼굴 딥페이크 탐지를 위한 상보적 rPPG 유래 및 입술 영역 주파수 단서

Complementary rPPG-Derived and Lip-Region Frequency Cues for Talking-Face Deepfake Detection

말하는 얼굴(talking-face, TF) 딥페이크는 생성기(generator)마다 rPPG 기반 방법의 탐지 성능이 고르지 않다. 우리는 피험자 독립(subject-independent) 프로토콜 하에서 Celeb-DF++의 7가지 TF 방법에 대해, RhythmFormer로 추출한 rPPG 유래 파형과 입술 영역 이산 코사인 변환(discrete cosine transform, DCT) 계수라는 두 가지 경량 시각 전용(visual-only) 단서를 연구한다. 도메인 내(in-domain)에서는 SadTalker를 제외한 모든 방법에서 입술 영역 DCT가 rPPG 유래 1D ResNet과 동등하거나 더 우수하며, Concat 융합은 단일 모달(unimodal) 기준선의 AUC 0.824 및 0.827에 대해 AUC 0.891에 도달한다. 생성기 하나 제외(leave-one-generator-out) 평가에서는 두 단서가 갈라진다: 각각은 보류(hold-out)된 세 방법으로 더 뚜렷이 전이(transfer)되며, IP-LAP은 두 단서 모두에서 거의 무작위(near chance) 수준이다. Concat은 평균 0.798이지만 DCT 전이가 약한 경우 rPPG 단독보다 낮아져, 정적(static) 융합은 이러한 상보성을 부분적으로만 활용한다. 입술 영역 DCT는 7가지 방법 중 6가지에서 전체 얼굴 DCT보다 우수하다. 우리는 rPPG 유래 신호를 경험적(empirical) 단서로 취급하며, 그�이 심장(cardiac) 기원임을 주장하지 않는다.

arXiv:2607.24016v3cs.CV

DailyBench: 최신 생성 모델의 AI 생성 및 조작 이미지를 위한 통합 벤치마크

DailyBench: A Unified Benchmark for AI-Generated and Manipulated Images from Modern Generative Models

최근 생성 모델의 발전으로 AI 생성 이미지 탐지는 쉽게 구별 가능한 완전 합성 이미지를 식별하는 것에서, 최신 생성 및 조작 파이프라인 모두에서 생성된 고도로 사실적인 콘텐츠를 식별하는 것으로 초점이 이동했다. 그러나 기존 탐지 벤치마크는 종종 구식 생성 모델로 구축되었으며 주로 전체 이미지 합성에 중점을 두어, 벤치마크 데이터와 실제 생성 및 편집 시나리오에서 접하는 이미지 사이의 불일치가 점점 커지고 있다. 이 격차를 해소하기 위해, 우리는 AI 생성 이미지 탐지기가 최신 전체 이미지 합성과 객체 수준 조작 모두에 걸쳐 일반화할 수 있는지 평가하는 고품질 통합 벤치마크인 DailyBench를 제안한다. DailyBench는 두 가지 상호 보완적인 하위 집합으로 구성된다: 최근 오픈소스 및 상용 생성 모델로 합성한 고품질 이미지를 포함하는 FakeBench, 그리고 고급 이미지 조건부 모델을 사용해 실제 이미지에 적용한 도전적인 객체 수준 편집을 도입하는 ManipulationBench. 이 설계는 DailyBench를 미세한 국소 편집 하에서 생성기 수준 일반화와 조작 인식 탐지를 모두 연구하기 위한 현실적인 테스트베드로 만든다. DailyBench에서의 실험은 현재 탐지기의 상당한 견고성 격차를 드러낸다: GenImage에서 91-96%의 균형 정확도를 보고한 방법들은 FakeBench에서 60-76%, ManipulationBench에서 54-66%로 하락한다. 이 결과는 기존 탐지기가 사실적인 합성 및 조작에 대해 여전히 일반화가 부족함을 보여주며, DailyBench가 견고하고 조작 인식 AI 생성 이미지 탐지 방법 개발을 위한 엄격한 테스트베드임을 강조한다. 프로젝트는 https://dailybench.github.io/ 에서 확인할 수 있다.

arXiv:2411.19537v4cs.CV공식 코드 · Papers with Code

생성 AI 시대의 딥페이크 미디어 생성 및 탐지: 서베이와 전망

Deepfake Media Generation and Detection in the Generative AI Era: A Survey and Outlook

딥페이크 생성 및 탐지 기법을 조사하며, 이미지, 동영상, 오디오, 멀티모달 콘텐츠 등 모든 딥페이크 미디어 유형을 다룬다. 다양한 종류의 딥페이크를 식별하고 딥페이크 생성 및 탐지 방법의 분류 체계를 구축하여 주요 방법군을 설명한다. 다음으로, 딥페이크 탐지에 사용되는 데이터셋을 수집하고 가장 널리 사용되는 데이터셋에서 최고 성능의 탐지기에 대한 최신 순위를 제공한다. 또한 분포 외(out-of-distribution) 콘텐츠에 대해 딥페이크 탐지기를 평가하기 위한 새로운 멀티모달 벤치마크를 개발한다. 결과는 최신(state-of-the-art) 탐지기가 이전에 보지 못한 생성기가 만든 딥페이크에 일반화하지 못함을 보여준다. 프로젝트 페이지와 새 벤치마크는 https://github.com/CroitoruAlin/biodeep 에서 확인할 수 있다.

arXiv:2607.21820v1cs.SD

오디오 딥페이크 탐지기의 화자 신원 민감도 탐색

Probing Speaker Identity Sensitivity in Audio Deepfake Detectors

오디오 딥페이크 탐지기는 진짜 음성과 합성 음성을 구별하도록 학습되며 표준 벤치마크에서 종종 우수한 성능을 보인다. 그러나 한 데이터셋에서 1% 미만의 오류를 달성하는 동일한 탐지기가 다른 데이터셋에서 평가될 때 오류율이 20배 증가할 수 있다. 우리는 기여 요인 중 하나가 화자 신원 의존(speaker-identity reliance)이라고 주장한다. 표준 학습 코퍼스는 화자 신원과 진짜/합성 레이블을 상관시키며, 이로 인해 탐지기가 합성 아티팩트만이 아니라 화자 관련 단서에 부분적으로 의존할 수 있다. 우리는 Identity Sensitivity Score(ISS)를 제안한다. ISS는 서로 다른 화자 신원 컨텍스트에서 탐지기 출력이 얼마나 변하는지 정량화하는 발화 단위 진단 지표이다. ISS는 추론 시점에 정답 레이블이 필요 없으며, 탐지기 점수와 참조 화자 예시 풀(pool)만으로 계산할 수 있다. 두 개의 탐지기와 두 개의 데이터셋에서, 잘못 분류된 발화는 올바르게 분류된 발화보다 ISS 점수가 29~52배 높으며, ISS만으로도 오분류를 AUC(area-under-curve) 최대 0.954로 예측한다. ISS가 예측 신뢰도의 대리 지표에 그치지 않고 실제로 신원 민감 행동을 포착하는지 검증하기 위해, 우리는 500개 발화에 보이스 변환(voice conversion)을 적용하고 그에 따른 탐지기 점수 변화를 측정한다. ISS에 의해 신원 민감으로 표시된 발화는 안정적(stable)으로 표시된 발화보다 이 조작에 19~30배 더 강하게 반응한다. 이러한 결과는 ISS를 오디오 딥페이크 탐지에서 화자 의존적 실패 분석을 위한 실용적인 추론 시점 진단 도구로 자리매김한다.

arXiv:2607.21897v1cs.CV

ISPCloak: 딥페이크 탐지기 대항 최적화 없는 물리적 위장을 위한 ISP 무기화

ISPCloak: Weaponizing ISP for Optimization-Free Physical Camouflage against Deepfake Detectors

생성 모델의 급속한 발전은 딥페이크 탐지기의 최악의 경우(worst-case) 견고성을 평가할 필요성을 촉발했다. 본 논문에서는 현재 포렌식 패러다임의 근본적인 사각지대를 밝힌다. 기존 탐지기는 디지털 합성 아티팩트를 포착하는 데 탁월하지만, AI 생성 콘텐츠가 진정한 물리적 촬영 특성으로 위장될 때 그 효과가 급격히 저하된다. 우리는 진짜 사진이 본질적으로 광학 센서와 이미지 신호 처리(Image Signal Processing, ISP) 파이프라인이 새긴, 인지할 수 없는 흔적인 하드웨어 고유의 통계적 시그니처를 지니며, 이는 순수 데이터 기반 생성 모델에는 근본적으로 부재한다고 주장한다. 이 통찰에 기반하여, 우리는 딥페이크 탐지기의 판단을 오도하기 위해 ISP 파이프라인을 명시적으로 무기화하는 새로운 최적화 없는 적대적 공격(adversarial attack) 프레임워크인 ISPCloak을 제안한다. 계산 비용이 큰 그래디언트 교란에 의존하는 대신, 우리 방법은 먼저 가역 ISP 네트워크를 사용하여 이미지를 RAW 도메인으로 투영한다. 그다음, 현실적인 Poisson-Gaussian 센서 노이즈를 주입하고 순방향 ISP 재구성을 수행함으로써 AI 생성 이미지에 실제 카메라의 복잡한 통계적 사전(prior)을 매끄럽게 각인한다. 생성 아티팩트 억제와 적응형 마스킹과 시너지를 이루면, 이 간소화된 물리적 시뮬레이션은 적대적 예제(adversarial example)의 초고속 생성을 가능하게 한다. 광범위한 실험은 진정한 물리적 교란을 임베딩하는 것이 현재의 다양한 탐지 메커니즘을 근본적으로 교란하며, 인지할 수 없는 시각적 변화로 보편적으로 회피 가능한 적대적 예제를 산출함을 보여준다.