arXiv:2301.05819

Deepfake Detection using Biological Features: A Survey

Kundan Patil, Shrushti Kale, Jaivanti Dhokey, Abhishek Gulhane

제출 2023-01-14

원문 초록

Deepfake is a deep learning-based technique that makes it easy to change or modify images and videos. In investigations and court, visual evidence is commonly employed, but these pieces of evidence may now be suspect due to technological advancements in deepfake. Deepfakes have been used to blackmail individuals, plan terrorist attacks, disseminate false information, defame individuals, and foment political turmoil. This study describes the history of deepfake, its development and detection, and the challenges based on physiological measurements such as eyebrow recognition, eye blinking detection, eye movement detection, ear and mouth detection, and heartbeat detection. The study also proposes a scope in this field and compares the different biological features and their classifiers. Deepfakes are created using the generative adversarial network (GANs) model, and were once easy to detect by humans due to visible artifacts. However, as technology has advanced, deepfakes have become highly indistinguishable from natural images, making it important to review detection methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10787v1cs.CV공통 태그 Generative Adversarial Network, Survey, DeepFake Detection

AI 생성 비디오 탐지: 비전-언어 이중 관점 서베이

Detecting AI-Generated Video: A Vision-Language Dual-View Survey

AI 생성 비디오(AIGC-V)의 사실적 표현이 급속도로 향상됨에 따라 기존의 아티팩트 중심 탐지 방식이 점차 한계를 드러내고 있으며, 저수준 검사에서 고수준 의미 검증으로의 패러다임 전환이 요구되고 있다. 본 논문은 AIGC-V 탐지에 관한 종합적인 서베이를 제시하며, 이 과제를 사실적 충실도 검증(Factual Fidelity Verification)으로 재정의한다. 이는 비디오에 묘사된 사건, 개체, 물리적 과정이 실제 사실과 일치하는지를 묻는 문제이다. 이 빠르게 진화하는 분야를 체계화하기 위해, 우리는 기존 방법들을 내재적 단서 분석, 시공간 일관성 모델링, 교차 모달 일관성 추론, 언어 기반 세계 수준 추론의 네 개 층(layer)으로 구성된 계층적 분류 체계인 비전-언어 이중 관점(Vision-Language Dual-View) 분류 체계를 제안한다. 이 이중 관점 프레임은 기존 딥페이크 탐지의 아티팩트 매칭에서 비전-언어 모델과 에이전트(agentic) 추론 파이프라인이 가능케 하는 증거 기반 의미 검증으로의 근본적인 전환을 부각시킨다. 221편의 연구에 대한 체계적 검토를 바탕으로, AIGC-V 생성 패러다임을 종합하고, 탐지 방법의 전반적 현황을 조망하며, 제안된 관점에 따라 평가 지표 및 벤치마크를 검토한다. 마지막으로 현재의 과제를 논의하고 강건하고 설명 가능하며 신뢰할 수 있는 탐지를 위한 유망한 방향을 제시한다.

arXiv:2609.27371v1cs.HC공통 태그 Generative Adversarial Network, DeepFake Detection

ASAP: AI 생성 이미지의 이미지 패턴 식별 및 분석을 위한 시각적 분석 시스템

ASAP: Visual Analytics for Identifying and Analyzing Image Patterns in AI-generated Images

생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.

arXiv:2607.24727v1cs.CV공통 태그 Generative Adversarial Network, Survey

소아 골격 트리아지를 위한 인공지능 기반 적외선 영상: 서술적 리뷰와 향후 전망

Infrared Imaging Empowered by Artificial Intelligence for Pediatric Skeletal Triage: A Narrative Review and Future Perspectives

배경. 소아 근골격계 외상은 소아 응급실(ED) 방문의 최대 18%를 차지하지만, 진단은 여전히 전리 방사선 촬영에 의존한다. 생애 초기의 누적 저선량 방사선은 평생 백혈병 및 뇌 악성종양 위험을 높여, 무전리 트리아지 대안의 필요성을 촉발한다. 목적. 비전리 데이터로부터 임상적으로 해석 가능한 합성 방사선 사진 재구성을 생성하기 위해 광대역 적외선(IR) 영상과 딥러닝 교차 모달 변환을 결합한 하이브리드 프레임워크에 대한 근거를 종합한다. 접근. 650 nm부터 1 mm까지 5개의 IR 스펙트럼 대역(NIR-I, NIR-II, SWIR, MIR/LWIR, THz)과 이중 기하학(transmission/reflection) 촬영이 파장별 조직 깊이 및 생화학적 민감도를 어떻게 활용하는지를 검토한다. IR 데이터를 방사선 사진 등가 재구성으로 정렬·융합하는 데 사용되는 이미지-투-이미지 변환 네트워크(Pix2Pix, CycleGAN, Swin-Unet) 및 특징 매칭 알고리즘(SuperPoint, SuperGlue, ALIKED, LightGlue)을 요약한다. 함의. 소아 해부학적 특성(더 작은 단면, 더 얇은 피질골)은 IR 투과에 유리하여, 소형·휴대용·무전리 트리아지 하드웨어를 가능하게 한다. 타당성은 fNIRS 및 경두개 광생물조절(transcranial photobiomodulation) 근거에 기반한다: 근적외선이 피부, 두개골, 피질을 통과하여 혈역학적 모니터링에 충분한 신호를 제공한다—소아 전완부 또는 원위부 다리를 통과하는 경로보다 더 길고 감쇠가 큰 경로이다. 주요 장벽: IR/X-ray 페어 데이터셋 구축, 의료기기로서의 AI 규제 경로, 체형 및 피부 색소침착에 걸친 일반화, 촬영 프로토콜 표준화. 결론. 통합 다중 스펙트럼 IR+AI 영상은 소아 골격 방사선 촬영에 대한 유망한 무전리 보완 수단이다. 진전을 위해서는 다기관 페어 데이터셋, 외부 검증된 모델, IEC 60825-1에 따른 IR 광원 안전성 인증이 필요하다.

arXiv:2607.10695v1cs.CV공통 태그 Generative Adversarial Network, DeepFake Detection

노이즈 잔차 클러스터링을 통한 효과적인 합성 이미지 탐지

Effective Synthetic Image Detection via Noise Residual Clustering

생성형 인공지능(AI)의 빠른 발전으로 합성 이미지가 놀라울 정도로 사실적이 되면서 허위정보 및 사기와 같은 보안 위협이 증가하고 있다. 수동적이고 블라인드 방식의 이미지 인증으로 합성 이미지를 탐지하는 것이 중요하다. 기존 탐지기 대부분은 대규모 레이블 데이터셋을 사용한 지도 학습에 의존하여 높은 비용이 발생하고 알려지지 않은 생성 모델에서 성능이 저하된다. 이러한 결함을 완화하기 위해 학습이 필요 없는 탐지 방법을 제안한다. 구체적으로, 노이즈 잔차 핑거프린트를 간단하면서도 효과적인 사전학습된 Noiseprint++ 모델로 먼저 추출한다. 이후 고정된 Vision Transformer(ViT)를 통해 해당 잔차로부터 다중 스케일 특징을 추출하고 적응형 가중 융합을 적용한다. 소수의 실제 이미지 샘플만으로 비지도 K-Means의 클러스터 중심을 초기화하여 학습 없이 실제 이미지와 합성 이미지를 구별한다. 네 개의 벤치마크 데이터셋에 대한 광범위한 평가 결과, 제안 방법이 평균 정확도 82.2%를 달성하여 일반화 능력에서 최신 탐지기들을 능가하는 것으로 나타났다. 확산 방식의 합성 이미지에서 우수한 성능을 보이며, 각 모듈의 효과는 에블레이션 연구를 통해 검증되었다. 소스 코드는 https://github.com/multimediaFor/NoiseCluSID 에 공개될 예정이다.

arXiv:2607.05434v1cs.CR공통 태그 Generative Adversarial Network, DeepFake Detection

포렌식 합성 미디어 탐지를 위한 확률적 AI 모델의 귀추적 입증

Abductive Corroboration of Probabilistic AI Models for Forensic Synthetic Media Detection

인공지능(AI) 모델은 그 핵심에서, 광범위한 데이터셋으로부터 얻은 일반적인 학습 결과를 확률적 동작을 통해 개별 상황에 적용한다. 이러한 귀납적 접근 방식은 전제로부터 결론을 증명하려는 연역적 추론 접근 방식과 대비된다. 그러나 연구에 따르면 AI 모델을 활용한 연역적 추론은 어려운 문제이며, 실제 환경에서는 항상 실현 가능하지 않을 수 있다. 이에 대한 대안적 방향은 귀추적 추론(abductive reasoning)을 활용하는 것으로, 사실적 증거 행렬로부터 가장 가능성 높은 결론을 도출하기 위해 여러 접근 방식의 출력을 입증하는 것이다. 우리는 이를 포렌식 환경에서의 합성 미디어 탐지에 적용하여, 진양성 재현율 대비 위양성 위험을 불균형적으로 낮출 수 있음을 발견했다. 또한 합성 이미지에 대한 OpenAI의 SynthID 롤아웃에 대한 최초의 실증적 평가를 제공하고, 서로 다른 합성 미디어 탐지 접근 방식들이 얼마나 상호 보완적인지를 평가한다.

arXiv:2607.03562v1cs.CV공통 태그 Generative Adversarial Network, DeepFake Detection

XPlainVerse: 설명 가능한 딥페이크 탐지를 위한 백만 규모 벤치마크

XPlainVerse: A Million-Scale Benchmark for Explainable Deepfake Detection

딥페이크 탐지 모델이 자연어 설명을 점점 더 많이 생성함에 따라, 그 추론 과정이 시각적 아티팩트에 약하게 기반하는 경우가 많아 신뢰성과 사용자 신뢰를 저해하고 있다. 기존 벤치마크는 주로 분류(classification) 정확도를 평가하며, 설명이 실제 조작을 반영하는지 여부는 간과한다. 이러한 격차는 배포 가능하고 설명 가능한 딥페이크 탐지 시스템을 향한 발전을 저해한다. 이를 해결하기 위해, 우리는 딥페이크 탐지와 인간 중심 설명의 공동 평가를 위해 설계된 대규모 벤치마크인 XPlainVerse를 소개한다. XPlainVerse는 백만 장의 실제 이미지와 조작된 이미지로 구성되며, 다섯 개의 확립된 출처에서 수집한 원본 이미지를 열두 개의 기성 이미지 편집 및 합성 모델이 생성한 위조 이미지와 쌍으로 연결한다. 또한 우리는 다단계 필터링 파이프라인인 Edit-Check를 제안하여 조작이 의도한 편집을 만족하는지 검증함으로써, 대규모의 신뢰할 수 있는 추론 감독을 가능하게 한다. 데이터셋(dataset) 규모를 넘어, XPlainVerse는 두 가지 상호 보완적인 설명 방식을 제공한다: 전문가 분석을 위한 기술적 설명과 비전문 사용자에게 최적화된 간소화된 설명이다. 표면적 유사도를 넘어 설명 품질을 평가하기 위해, 우리는 새로운 지표인 EntityScore와 EvidenceScore를 제안한다. 이 지표들은 설명이 조작된 개체와 시각적 증거를 올바르게 식별하는지 확인함으로써 추론 충실도를 측정한다. 2,000개의 설명 쌍에 대한 인간 어노테이션이 인간 판단 대비 우리 데이터셋의 품질을 검증한다. 우리는 XPlainVerse가 근거 있는 설명 품질을 딥페이크 탐지의 측정 가능한 차원으로 확립하고, 신뢰할 수 있고 해석 가능한 모델에 대한 확장 가능한 연구를 지원할 것이라 믿는다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.