On Attribution of Deepfakes
원문 초록
Progress in generative modelling, especially generative adversarial networks, have made it possible to efficiently synthesize and alter media at scale. Malicious individuals now rely on these machine-generated media, or deepfakes, to manipulate social discourse. In order to ensure media authenticity, existing research is focused on deepfake detection. Yet, the adversarial nature of frameworks used for generative modeling suggests that progress towards detecting deepfakes will enable more realistic deepfake generation. Therefore, it comes at no surprise that developers of generative models are under the scrutiny of stakeholders dealing with misinformation campaigns. At the same time, generative models have a lot of positive applications. As such, there is a clear need to develop tools that ensure the transparent use of generative modeling, while minimizing the harm caused by malicious applications. Our technique optimizes over the source of entropy of each generative model to probabilistically attribute a deepfake to one of the models. We evaluate our method on the seminal example of face synthesis, demonstrating that our approach achieves 97.62% attribution accuracy, and is less sensitive to perturbations and adversarial examples. We discuss the ethical implications of our work, identify where our technique can be used, and highlight that a more meaningful legislative framework is required for a more transparent and ethical use of generative modeling. Finally, we argue that model developers should be capable of claiming plausible deniability and propose a second framework to do so -- this allows a model developer to produce evidence that they did not produce media that they are being accused of having produced.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DDL: 다양한 실제 환경 시나리오에서의 딥페이크 탐지 및 위치 특정을 위한 대규모 데이터셋
DDL: A Large-Scale Dataset for Deepfake Detection and Localization in Diversified Real-World Scenarios
최근 AI 생성 콘텐츠(AIGC)의 발전으로 악의적인 딥페이크 콘텐츠의 오용이 심화됨에 따라, 신뢰할 수 있는 딥페이크 탐지 방법의 개발은 이러한 문제를 해결하기 위한 필수적인 수단이 되었습니다. 기존 딥페이크 탐지 모델들이 탐지 지표에서 뛰어난 성능을 보이고 있음에도 불구하고, 대부분의 방법은 단순한 이진 분류(binary classification) 결과만을 제공하여 해석 가능성(interpretability)이 부족합니다. 최근 연구들은 공간적 조작 마스크나 시간적 위조 구간을 제공함으로써 분류 결과의 해석 가능성을 높이고자 시도했습니다. 그러나 위조 데이터셋(dataset)의 한계로 인해 이러한 방법들의 실질적인 효과는 여전히 미흡한 수준입니다. 그 주된 이유는 대부분의 기존 딥페이크 데이터셋이 이진 레이블만을 포함하고, 위조 시나리오의 다양성이 제한적이며, 딥페이크 유형의 다양성이 불충분하고, 데이터 규모가 비교적 작아 복잡한 실제 환경 시나리오에 적용하기에 부적합하기 때문입니다. 이러한 난제를 해결하기 위해, 본 연구에서는 140만 개 이상의 위조 샘플을 포함하고 80개의 서로 다른 딥페이크 방법을 포괄하는 새로운 대규모 딥페이크 탐지 및 위치 특정(DDL) 데이터셋을 구축합니다. DDL의 설계는 네 가지 핵심 혁신을 포함합니다: (1) 포괄적인 딥페이크 방법(7가지 서로 다른 생성 아키텍처와 총 80가지 방법 포함), (2) 다양한 조작 모드(7가지 고전적 위조 모드와 3가지 새로운 위조 모드 접목), (3) 다양한 위조 시나리오 및 모달리티(3가지 시나리오와 3가지 모달리티 포함), (4) 세밀한 위조 주석(118만 개 이상의 정밀한 공간 마스크와 23만 개 이상의 정밀한 시간 구간 제공). 이러한 개선을 통해 DDL은 복잡한 실제 환경의 위조에 대한 더욱 도전적인 벤치마크를 제공할 뿐만 아니라, 차세대 딥페이크 탐지, 위치 특정 및 해석 가능성 방법 구축을 위한 중요한 기반을 제공합니다.
SHIELD: A Secure and Highly Enhanced Integrated Learning for Robust Deepfake Detection against Adversarial Attacks
Pay Less Attention to Deceptive Artifacts: Robust Detection of Compressed Deepfakes on Online Social Networks
보는 것이 더 이상 믿는 것이 아닐 때: 프론티어 이미지 생성 모델, 합성 시각적 증거, 그리고 현실 세계의 위험
Seeing Is No Longer Believing: Frontier Image Generation Models, Synthetic Visual Evidence, and Real-World Risk
이미지 생성 시스템은 그럴듯한 사진, 판독 가능한 문서, 사람과 장소에 대한 일관된 묘사를 만들어 낼 수 있다. 이러한 결과물이 실제 사건의 기록으로 제시되면 뉴스, 금융, 신원 확인, 의료, 법률 분야의 의사결정에 영향을 미칠 수 있다. 이 서술형 리뷰는 2026년 10월 1일까지 확인 가능한 공개 모델 문서, 사고 보고서, 실증 연구, 거버넌스 자료, 그리고 영어와 중국어로 된 실무자 논평 사례를 검토한다. 우리는 제공사의 성능 주장, 문서화된 사고, 실험 결과, 앞으로 발생할 수 있는 피해 경로를 구분한다. 사실감, 텍스트 렌더링, 참조 일관성, 대화형 편집, 검색 기반 근거화, 낮은 생성 비용은 합성 이미지가 증거로서의 비중을 얻는 조건을 형성한다. 문서화된 사례는 조작된 시각 자료가 공공 및 기관의 업무 흐름에 유입되는 방식을 보여 주지만, 공개 보고만으로는 현재 출시된 모델의 오용 확산 정도를 측정할 수 없다. 제공사의 안전장치, 출처 증명 자격 정보, 워터마크, 플랫폼 라벨, 법적 의무를 비교한 결과, 출처 신호만으로는 묘사된 사건이나 거래를 검증할 수 없음이 드러난다. 우리의 프레임워크는 산출물 유형과 의사결정의 중요도를 구체적인 통제 수단에 대응시킨다. 중대한 결정에는 인증된 원본 기록, 독립적인 채널을 통한 교차 확인, 조치 전의 비례적 검토가 필요하다.
BusterX++: MLLM을 통한 통합 크로스 모달 AI 생성 콘텐츠 탐지 및 설명
BusterX++: Towards Unified Cross-Modal AI-Generated Content Detection and Explanation with MLLM
생성형 AI의 급속한 발전으로 이미지 및 비디오 합성 품질이 크게 향상되었으며, 이로 인해 멀티모달 시각적 허위 정보의 위험이 증폭되고 있다. 최근 MLLM은 추론과 설명을 통한 투명한 AI 생성 콘텐츠 탐지에서 가능성을 보였으나, 기존 접근법은 대체로 이미지와 비디오 포렌식을 별개의 과제로 취급하여 교차 모달 시너지는 충분히 탐구되지 않았다. 이를 해결하기 위해 우리는 해석 가능한 추론을 갖춘 이미지·비디오 공동 탐지용 통합 MLLM인 \textbf{BusterX++}를 제시한다. 또한 최신 생성 모델과 다양한 실제 시나리오를 아우르는 균형 잡힌 이미지 및 비디오 샘플을 포함하며, 합성 이미지와 비디오를 동일한 인간 난이도 기준으로 선별한 선별 벤치마크 \textbf{GenBuster-Bench++}를 도입한다. 이러한 통제된 설정에서 널리 채택된 SFT+RL 사후 학습 패러다임을 재검토한다. 특히 통합 이미지-비디오 설정에서, 희소한 결과 보상을 주로 사용하는 단일 단계 순수 RL 전략이 강력한 SFT+RL 기준선을 능가한다는 결과를 보인다. 단일 단계 순수 RL은 학습 내내 SFT로 초기화한 RL보다 더 높은 정책 엔트로피를 유지함을 관찰하였다. 이 관찰은 통합 이미지-비디오 학습에서 나타난 성능 향상에 탐색이 일정한 역할을 했을 가능성을 시사한다. 폭넓은 실험을 통해 BusterX++가 최고 수준의 성능을 달성함을 보이며, 통합 교차 모달 시각 추론에서 RL의 강력한 잠재력을 부각한다.
UniShield: 통합 위조 이미지 탐지 및 위치 특정을 위한 적응형 멀티 에이전트 프레임워크
UniShield: An Adaptive Multi-Agent Framework for Unified Forgery Image Detection and Localization
이미지 생성 기술의 급격한 발전으로 합성 이미지가 점점 더 현실적으로 변하면서 오정보 및 사기와 같은 중대한 사회적 위험을 초래하고 있습니다. 이에 따라 위조 이미지 탐지 및 위치 특정(Forgery Image Detection and Localization, FIDL)은 정보 무결성과 사회적 보안을 유지하는 데 필수적인 기술로 떠올랐습니다. 기존 도메인 특화 탐지 방식들의 우수한 성능에도 불구하고, 좁은 특화 범위, 취약한 교차 도메인 일반화 능력, 그리고 통합된 적응형 프레임워크의 부재로 인해 실제 적용 가능성은 여전히 제한적입니다. 이러한 문제를 해결하기 위해, 본 논문에서는 이미지 조작, 문서 조작, 딥페이크(DeepFake), AI 생성 이미지를 포함한 다양한 도메인 전반에서 이미지 위조를 탐지하고 위치를 특정할 수 있는 새로운 멀티 에이전트 기반 통합 시스템인 UniShield를 제안합니다. UniShield는 인지 에이전트(perception agent)와 탐지 에이전트(detection agent)를 혁신적으로 통합합니다. 인지 에이전트는 이미지 특징을 지능적으로 분석하여 적합한 탐지 모델을 동적으로 선택하며, 탐지 에이전트는 다양한 전문 탐지기를 단일 프레임워크로 통합하고 해석 가능한 보고서를 생성합니다. 광범위한 실험을 통해 UniShield가 기존 통합 접근법과 도메인 특화 탐지기 모두를 능가하는 최고 수준(state-of-the-art)의 성능을 달성함을 보였으며, 우수한 실용성, 적응성 및 확장성을 입증했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.