PyTorchKR Papers

최신 논문

총 613편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2411.19715v4cs.CV공식 코드 · Papers with Code

Forensics Adapter: 일반화 가능한 얼굴 위조 탐지를 위한 CLIP 활용

Forensics Adapter: Unleashing CLIP for Generalizable Face Forgery Detection

본 논문은 CLIP을 효과적이고 일반화 가능한 얼굴 위조 탐지기로 변환하도록 설계된 어댑터 네트워크인 Forensics Adapter를 소개한다. CLIP은 매우 다재다능하지만, 위조 관련 지식이 광범위한 무관한 지식과 얽혀 있어 얼굴 위조 탐지에 맞추는 것은 사소하지 않다. 기존 방법들은 CLIP을 단순히 특징 추출기로만 다루며 작업별 적응이 부족하여 효과가 제한된다. 이를 해결하기 위해, 작업별 목표의 안내 하에 위조된 얼굴에 고유한 블렌딩 경계인 얼굴 위조 흔적을 학습하는 어댑터를 도입한다. 그런 다음 CLIP과 어댑터 간 지식을 교환하는 전용 상호작용 전략으로 CLIP 시각 토큰을 강화한다. 어댑터가 CLIP과 병행하므로 CLIP의 다재다능성이 크게 유지되어, 얼굴 위조 탐지에서 강한 일반화 성능이 자연스럽게 보장된다. 학습 가능한 파라미터가 $\textbf{5.7M}$에 불과함에도, 우리 방법은 6개의 표준 데이터셋에서 우수한 성능을 달성한다. 또한 새롭게 제안한 위조 인식 프롬프트 학습 전략을 통해 텍스트 모달리티를 통합하는 확장 방법인 Forensics Adapter++를 설명한다. 이 확장은 원래 Forensics Adapter 대비 추가로 $\textbf{1.3\%}$의 성능 향상을 가져온다. 제안한 방법들이 향후 CLIP 기반 얼굴 위조 탐지 방법의 기준선이 될 수 있다고 믿는다. 코드는 https://github.com/OUC-VAS/ForensicsAdapter 에 공개되었다.

arXiv:2607.21007v1cs.CV

설명 가능한 딥페이크 탐지 챌린지

Explainable Deepfake Detection Challenge

딥페이크 탐지는 이진 분류 결정을 넘어, 그러한 결정을 뒷받침하는 시각적 증거를 설명할 수 있는 시스템으로 발전하고 있다. 이러한 전환은 실제 검증 환경에서 중요한데, 다양한 사용자가 이미지가 조작되었는지 여부뿐 아니라 왜 의심스러운 것으로 간주되는지도 이해해야 하기 때문이다. ACM Multimedia 2026의 설명 가능한 딥페이크 탐지 챌린지는 이러한 복합 역량을 벤치마크하기 위해 설계되었다. 설명 가능한 딥페이크 탐지를 위한 백만 규모 벤치마크인 XPlainVerse를 기반으로, 이 챌린지는 이미지 분류와 그라운딩(grounded) 자연어 설명 생성에 대한 방법들을 평가한다. 참가자는 각 이미지에 대해 real/fake 레이블과 함께 두 가지 설명을 제출한다: 기술 사용자를 위한 상세한 복합 설명과 일반 사용자를 위한 간결한 단순 설명. 평가는 분류 지표와 의미적 유사성, 단순성, 그리고 설명이 관련된 조작된 개체와 뒷받침하는 시각적 증거를 식별하는지 평가하는 의도 인식(intent-aware) 그라운딩 지표를 결합한다. 챌린지를 통해 개발된 방법론은 차세대 설명 가능한 딥페이크 탐지기 개발에 기여할 것이다. 평가 스크립트, 기준선 모델, 및 동반 코드는 https://github.com/Abhijeet8901/XPlainVerse-ACMChallenge 에서 이용할 수 있다.

arXiv:2607.19476v1cs.CV

조기 탐지, 드문 에스컬레이션: 압축 비트스트림 기반 AI 생성 비디오의 임의 시점 탐지

Detect Early, Escalate Rarely: Anytime Detection of AI-Generated Video from the Compressed Bitstream

AI 생성 비디오 탐지기는 오프라인에서 평가된다. 클립은 픽셀로 디코딩된 뒤 한 번 점수화되며, 점점 더 많이 대규모 비전-언어 모델에 의해 그렇게 처리된다. 그러나 탐지는 온라인으로 배포된다. 우리는 이 과제를 스트리밍 인식으로 재구성하고, 코덱이 이미 비트스트림에 기록한 모션 필드를 점수화한다. 해당 필드를 읽는 것은 파싱이며, 픽셀 도메인 순전파가 아니다. 누적 집계가 단조(monotone)이기 때문에, 끝점에서 한 번 보정한 임계값 하나가 데이터에 따라 달라지는 결정 시점에서 임의 시점 유효(anytime-valid)하다. 각 접두 문맥에서 재보정하는 것은 그렇지 않다. 에스컬레이션 비용은 폐형(closed form)으로 산출된다. 연산 예산은 지연(deferral) 윈도우에 대응하며, 지연 조건이 성립하는 바로 그 지점에서 프론티어가 단조적이다. 매칭된 GenVidBench에서 코덱 단계는 CPU에서 픽셀 CNN보다 연산량이 5자릿수(10^5배) 적은 상태로 전체 길이 AUC 0.64에 도달한다. 게이트는 실제 데이터가 보정과 일치할 때 정지 시점 거짓 양성률을 목표 수준에 유지하고, 분포 이동(distribution shift) 하에서는 그 위로 벗어난다. 클립의 15%를 지연하면 연산량을 $7\times$ 줄인 채 정확도가 0.75에서 0.78로 상승한다(쌍체: McNemar $p<10^{-6}$). 1단계 순서(ordering)는 AIGVDBench에서도 재현된다. 우리는 새로운 탐지기를 제안하지 않는다. 기여는 재구성, 두 가지 보장, 그리고 측정된 프론티어이다. 코드, 설정, 평가 분할: https://github.com/KurbanIntelligenceLab/streamdet.

arXiv:2607.15246v1cs.CV

ARMOR++: 딥페이크 탐지기에 대한 전이 가능 공격을 위한 다중 도메인 프리미티브 집합의 에이전트 기반 오케스트레이션

ARMOR++: Agentic Orchestration of a Multi-Domain Primitive Set for Transferable Attacks on Deepfake Detectors

딥페이크 탐지기의 신뢰성은 블랙박스 적대적 전이(adversarial transfer) 하에서 자주 저하되는데, 이는 이러한 모델이 종종 취약하고 아키텍처에 의존하는 포렌식 단서에 의존하기 때문이다. 기존 전이 공격은 종종 의미론적 인식이 부족하고, 특히 섭동(perturbation)이 컨볼루션 기반 대리 모델(surrogate)에서 트랜스포머 기반 목표로 전이될 때, 엄격한 무쿼리(no-query) 제약 하에서 효과를 유지하기 어렵다. 이러한 한계를 해결하기 위해, 본 논문은 높은 전이성(transferability)을 목표로 하는 딥페이크 회피를 위한 강건한 멀티에이전트 프레임워크인 ARMOR++를 제안한다. 이 프레임워크는 Qwen2.5-VL 비전-언어 모델(VLM)을 활용해 공간적 의미론적 사전(prior)을 제공하고, Qwen3 대규모 언어 모델(LLM)이 프리미티브 선택, 적응형 하이퍼파라미터 재파라미터화(reparameterization), 엔트로피 정규화 섭동 혼합을 오케스트레이션한다. 밀집 최적화, 눈금성(saliency) 기반 방법, 공간 변환, 주파수 영역 섭동, 블록 구조 수정에 걸친 다섯 가지 상보적 프리미티브를 통합함으로써, ARMOR++는 이질적인 귀납 편향(inductive bias)을 효과적으로 타겟팅한다. AADD-2025 벤치마크에 대한 엄격한 평가에서 ARMOR++는 저품질 및 고품질 이미지 영역 모두에서 기존 에이전트 기반 및 비에이전트 기준선을 크게 능가함을 보여준다. 통계 분석은 최첨단 에이전트 기반 기준선 대비 맹표(blind-target) 공격 성공률(ASR)에서 상당한 향상을 확인했으며, 비에이전트 벤치마크 및 강건한 방어 구성 하에서도 추가적인 성능 이점이 입증되었다. 이러한 결과는 현재 딥페이크 탐지기 배포에서 상당한 잔여 신뢰성 격차가 있음을 부각하고, 잠재적 취약점을 식별하는 데 있어 에이전트 기반 오케스트레이션의 효과를 보여준다.

arXiv:2607.13234v1cs.CV

지속적으로 진화하는 딥페이크 탐지: 동적 탐지 시스템의 아키텍처 및 공개 벤치마크 평가

Continuously Evolving Deepfake Detection: An Architecture and Public-Benchmark Evaluation of a Dynamic Detection System

학술 벤치마크에서 거의 완벽한 점수를 달성하는 딥페이크 탐지기는 실세계 콘텐츠에서는 성능이 급격히 무너집니다. 최근 in-the-wild 평가에서는 최신(state-of-the-art) 오픈소스 모델의 AUC가 45-50% 하락한다고 보고됩니다. 우리는 이 격차가 구조적이라고 주장합니다. 정적 탐지기는 계속 변화하는 생성 프론티어에 대해 한 번만 학습되기 때문입니다. 우리는 Bittensor SN34를 통해 학습된 BitMind Forensics(BMF)를 제안합니다. Bittensor SN34는 학습 분포를 지속적으로 갱신하는 공개 적대적(adversarial) 경쟁입니다. 우리는 이미지, 일반 비디오, 인간 비디오 체크포인트를 포함하는 하나의 특정 시점 export를 19개의 공개 데이터셋에서 평가합니다. 여기에는 표준 face-swap 스위트(FaceForensics++, Celeb-DF v1/v2/++, DFDC, DFD, UADFV, DF40)와 최근 in-the-wild 및 AI 생성 미디어 벤치마크(Sumsub, Deepfake-Eval-2024, WildRF, Community Forensics, AIGCDetectBench, GenImage, AI-GenBench, AIGIBench, RAID, GenVidBench, GenVideo-100K)가 포함됩니다. BMF는 Sumsub의 원본 이미지에서 0.936 AUC를 달성하고, 전체 4조건 조작 배터리(140만 이미지)에 대한 pooled AUC 0.872를 기록합니다. perturbation 하에서도 견고하며(0.855 JPEG, 0.799 downscaled), GPEN enhancement는 탐지 성능을 향상시킵니다(0.996). Deepfake-Eval-2024에서 BMF는 이미지에서 최고의 상용 탐지기와 동등합니다(0.915 vs 0.90)고, 비디오에서는 이를 초과합니다(0.822 vs 0.79). 이는 최고의 오픈소스 탐지기(0.56 및 0.63)보다 훨씬 높습니다. 21개 생성기 AI 이미지 패널에서 0.991 AUC, GenVidBench에서 0.918 AUC를 달성하며, DFDC(0.947 vs 0.843) 및 Celeb-DF v2(0.9985 vs 0.956)에서 FF++로 학습된 frontier를 초과합니다. 둘 다 오염 검증(contamination-audited)되었으며, Celeb-DF++에서는 통계적 동등성을 보입니다. 시간적 연구에서 연속된 특정 시점 export는 정적 기준선의 학습에 없던 생성기의 held-out 미디어에서 성능이 향상됩니다(이미지 0.842→0.902; 비디오 0.864→0.936). 평가 하네스는 공개되어 있으며, 출판 시점에 프로덕션 API는 독립적 검증을 위해 평가된 정확한 스냅샷을 제공합니다.

arXiv:2502.19716v3cs.CV공식 코드 · Papers with Code

완전 AI 생성 이미지 탐지: 정의, 최근 진전과 도전 과제

Fully AI-Generated Image Detection: Definition, Recent Advances and Challenges

비주얼 생성 모델의 최근 발전으로, 실제 원본 콘텐츠에 의존하지 않고도 매우 사실적인 완전 AI 생성 이미지를 만들 수 있게 되었다. 많은 응용 분야에 유익한 한편, 이러한 모델은 설득력 있는 Deepfake를 손쉽게 생성하도록 악용될 수 있어 상당한 사회적 위험을 초래한다. 이를 탐지하는 것은 AI 미디어 포렌식(AI media forensics)에서 기초적이면서도 어려운 문제이며, 탐지기는 생성 아키텍처가 각인한 고유 아티팩트(artifact)를 신뢰성 있게 추출해야 한다. 본 리뷰에서는 완전 AI 생성 이미지 탐지에 대한 체계적 개관을 제공한다. 표준 탐지기 설계 파이프라인에 따라 데이터셋 구축과 아티팩트 추출이라는 두 핵심 구성 요소에 초점을 맞춘다. 데이터셋 설계가 학습된 아티팩트의 일반화와 견고성에 미치는 영향을 분석하고, 아티팩트를 분리하기 위해 활용하는 주요 귀납적 사전(inductive prior)에 따라 기존 아티팩트 추출 방법을 분류한다. 이 틀 안에서 기존 연구를 체계적으로 검토한다. 마지막으로, 미해결 과제를 강조하고 더 견고하고 일반화 가능한 탐지기 개발을 위한 여러 향후 방향을 제시한다. 본 서베이에서 검토한 연구는 https://github.com/zju-pi/Awesome-Fully-AI-Generated-Image-Detection 에서 확인할 수 있다.

arXiv:2607.12584v1cs.SD

위너-홉프 선형 예측 기반 설계상 설명 가능한 오디오 딥페이크 탐지

Explainable-by-Design Audio Deepfake Detection via Wiener-Hopf Linear Prediction

합성 음성 생성 방법의 빠른 발전으로 오디오 딥페이크 탐지는 멀티미디어 포렌식에서 중요한 과제가 되었다. 최근 접근법들은 높은 탐지 정확도를 달성하지만, 일반적으로 해석 가능성이 제한되고 계산 복잡도가 높은 블랙박스 아키텍처에 의존한다. 본 논문에서는 위너-홉프 선형 예측에 기반하고 경량 2차원 합성곱 신경망(CNN)으로 처리하는 설계상 설명 가능한 오디오 딥페이크 탐지 프레임워크를 제안한다. 이 설계는 분류 결과와 신호의 음향 특성 사이에 직접적이고 투명한 연결을 가능하게 한다. 벤치마크 데이터셋에서의 실험 결과는 최신 기법 대비 현저히 낮은 계산 복잡도를 유지하면서 경쟁력 있는 탐지 성능을 보여준다. Grad-CAM을 이용한 해석 가능성 분석 결과, 분류기는 저차 예측기 계수와 침묵 및 전이 구간에 집중하는 것으로 나타났으며, 이는 위너-홉프 예측기가 합성 음성의 잔향 특성과 미세한 통계적 불일치를 포착함을 시사한다. 마지막으로, 강건성 실험은 미세조정이 가산 노이즈, MP3 압축, 전화 필터링을 포함한 일반적인 후처리 열화 하에서 탐지 성능을 효과적으로 회복함을 보여준다.

arXiv:2607.10787v1cs.CV

AI 생성 비디오 탐지: 비전-언어 이중 관점 서베이

Detecting AI-Generated Video: A Vision-Language Dual-View Survey

AI 생성 비디오(AIGC-V)의 사실적 표현이 급속도로 향상됨에 따라 기존의 아티팩트 중심 탐지 방식이 점차 한계를 드러내고 있으며, 저수준 검사에서 고수준 의미 검증으로의 패러다임 전환이 요구되고 있다. 본 논문은 AIGC-V 탐지에 관한 종합적인 서베이를 제시하며, 이 과제를 사실적 충실도 검증(Factual Fidelity Verification)으로 재정의한다. 이는 비디오에 묘사된 사건, 개체, 물리적 과정이 실제 사실과 일치하는지를 묻는 문제이다. 이 빠르게 진화하는 분야를 체계화하기 위해, 우리는 기존 방법들을 내재적 단서 분석, 시공간 일관성 모델링, 교차 모달 일관성 추론, 언어 기반 세계 수준 추론의 네 개 층(layer)으로 구성된 계층적 분류 체계인 비전-언어 이중 관점(Vision-Language Dual-View) 분류 체계를 제안한다. 이 이중 관점 프레임은 기존 딥페이크 탐지의 아티팩트 매칭에서 비전-언어 모델과 에이전트(agentic) 추론 파이프라인이 가능케 하는 증거 기반 의미 검증으로의 근본적인 전환을 부각시킨다. 221편의 연구에 대한 체계적 검토를 바탕으로, AIGC-V 생성 패러다임을 종합하고, 탐지 방법의 전반적 현황을 조망하며, 제안된 관점에 따라 평가 지표 및 벤치마크를 검토한다. 마지막으로 현재의 과제를 논의하고 강건하고 설명 가능하며 신뢰할 수 있는 탐지를 위한 유망한 방향을 제시한다.

arXiv:2607.10695v1cs.CV

노이즈 잔차 클러스터링을 통한 효과적인 합성 이미지 탐지

Effective Synthetic Image Detection via Noise Residual Clustering

생성형 인공지능(AI)의 빠른 발전으로 합성 이미지가 놀라울 정도로 사실적이 되면서 허위정보 및 사기와 같은 보안 위협이 증가하고 있다. 수동적이고 블라인드 방식의 이미지 인증으로 합성 이미지를 탐지하는 것이 중요하다. 기존 탐지기 대부분은 대규모 레이블 데이터셋을 사용한 지도 학습에 의존하여 높은 비용이 발생하고 알려지지 않은 생성 모델에서 성능이 저하된다. 이러한 결함을 완화하기 위해 학습이 필요 없는 탐지 방법을 제안한다. 구체적으로, 노이즈 잔차 핑거프린트를 간단하면서도 효과적인 사전학습된 Noiseprint++ 모델로 먼저 추출한다. 이후 고정된 Vision Transformer(ViT)를 통해 해당 잔차로부터 다중 스케일 특징을 추출하고 적응형 가중 융합을 적용한다. 소수의 실제 이미지 샘플만으로 비지도 K-Means의 클러스터 중심을 초기화하여 학습 없이 실제 이미지와 합성 이미지를 구별한다. 네 개의 벤치마크 데이터셋에 대한 광범위한 평가 결과, 제안 방법이 평균 정확도 82.2%를 달성하여 일반화 능력에서 최신 탐지기들을 능가하는 것으로 나타났다. 확산 방식의 합성 이미지에서 우수한 성능을 보이며, 각 모듈의 효과는 에블레이션 연구를 통해 검증되었다. 소스 코드는 https://github.com/multimediaFor/NoiseCluSID 에 공개될 예정이다.

arXiv:2606.20302v2cs.CV

CUPID: 해석 가능한 관심 인물 딥페이크 탐지를 위한 UV 텍스처 맵 복원

CUPID: Reconstructing UV Texture Maps for Interpretable Person-of-Interest Deepfake Detection

관심 인물(POI)로 알려진 저명한 개인을 표적으로 하는 딥페이크는 현대 민주주의와 사회에 위협이 되고 있다. 현재 POI 딥페이크 탐지 방법들은 후처리에 대한 견고성, 효율성, 해석 가능성을 결합하는 데 여전히 어려움을 겪고 있으며, 이는 현대 딥페이크 탐지기의 핵심 요소들이다. 본 논문에서는 3D 얼굴 복원에서 도출된 얼굴 외형 표현인 UV 텍스처 맵과 마스크드 오토인코더(MAE)의 표현 학습 능력을 결합한 POI 비디오 딥페이크 탐지기 CUPID를 제안한다. 우리의 방법은 학습 단계에서 어떠한 딥페이크 비디오도 필요로 하지 않는다. 더 나아가, 학습 세트에 특정 POI를 포함할 필요조차 없다: 실제 비디오 프레임에서 추출한 UV 텍스처 맵과 MAE 문맥 유도 복원의 조합은 학습 중 보지 못한 신원에 대해서도 풍부하고 변별력 있는 얼굴 특징을 포착하는 잠재 공간을 생성한다. 테스트 단계에서는 POI가 등장하는 쿼리 비디오에서 추출된 임베딩을 원본 참조 비디오와 매칭하여 비디오의 진위를 평가할 수 있다. 더불어, UV 공간에서 작동함으로써 추가적인 해석 가능성의 층이 자연스럽게 제공된다. 구체적으로, 테스트 비디오의 어떤 얼굴 영역이 해당 POI의 신원 표현에서 가장 크게 벗어나는지를 강조하는 디코딩된 잔차 맵을 추출할 수 있다. 네 개의 딥페이크 데이터셋에 대한 실험 결과, CUPID는 대부분의 데이터셋에서 현재 최신 기술을 능가하며, 강력한 다운스케일링과 압축에 대해 전반적으로 가장 우수한 견고성을 달성함과 동시에 실질적으로 더 빠른 추론을 제공하는 것으로 나타났다. 실험 코드는 https://github.com/polimi-ispl/CUPID에 공개될 예정이다.

arXiv:2607.08705v1cs.CV

HumanForge: 멀티 에이전트 위조 근거를 갖춘 인간 중심 딥페이크 영상 벤치마크

HumanForge: A Human-Centric Deepfake Video Benchmark with Multi-Agent Forgery Rationales

인간 중심 딥페이크(deepfake) 영상 탐지 연구의 한계를 극복하기 위해, 오디오 기반·포즈 기반·상호작용·의미 기반 등 네 가지 시나리오를 포괄하는 대규모 영상 위조 벤치마크 HumanForge(18,000개 이상의 합성 영상 세그먼트)를 제안한다. 데이터셋 구축 및 주석 자동화를 위해 LangGraph 기반의 멀티 에이전트 파이프라인 Gen2Anno를 설계하여, 생성 출처와 시각적 분석을 대조하는 방식으로 이진 판정·세밀한 아티팩트 범주·시공간적 위치 정보를 포함한 omni-annotation을 생성하고, 최신 탐지기 및 대규모 멀티모달 모델(LMM) 벤치마크를 통해 제로샷 일반화의 높은 난이도를 입증하였다.

arXiv:2607.08674v1cs.CV

변환은 진실을 드러내는가? 일반화된 AI 생성 이미지 탐지를 위한 생성적 잔차 학습

Do Transformations Reveal the Truth? Generative Residual Learning for Generalized AI-Generated Image Detection

생성형 AI 이미지(AIGI) 탐지의 교차 생성기 일반화 문제를 해결하기 위해, 원본 이미지와 생성적 변환 샘플 간의 관계적 잔차를 신경 텐서 네트워크(NTN)로 모델링하는 GenRes 및 다중 변환에 대한 어텐션 기반 집계를 추가한 GenRes++ 프레임워크를 제안한다. PE-Core ViT를 특징 추출기로 활용한 GenRes++는 UniversalFakeDetect 벤치마크에서 학습 시 보지 못한 19개의 생성 모델에 대해 기존 방법들을 능가하는 성능을 달성했다.

arXiv:2607.06354v1cs.CV

향상된 RGB-노이즈 표현 학습을 통한 일반화된 합성 이미지 탐지

Generalized Synthetic Image Detection with Enhanced RGB-Noise Representation Learning

RNSIDNet은 AI 생성 이미지 탐지의 교차 모델 일반화 문제를 해결하기 위해, 어텐션 정제 CLIP 백본으로 추출한 RGB 의미 특징과 Bayar 컨볼루션으로 포착한 고주파 노이즈 잔차를 FiLM 모듈로 동적 융합하는 이중 브랜치 포렌식 프레임워크를 제안한다. 여기에 어려운 샘플에 더 큰 그래디언트 페널티를 부여하는 Hard Sample-aware Contrastive Learning(HSCL) 전략을 결합하여, 8개 공개 벤치마크에서 최첨단 탐지 성능과 우수한 일반화 능력을 달성하였다.

arXiv:2607.05434v1cs.CR

포렌식 합성 미디어 탐지를 위한 확률적 AI 모델의 귀추적 입증

Abductive Corroboration of Probabilistic AI Models for Forensic Synthetic Media Detection

포렌식 환경에서의 합성 미디어 탐지 시, 귀추적 추론(abductive reasoning)을 활용해 여러 확률적 AI 탐지 모델의 출력을 교차 검증함으로써 진양성 재현율 대비 위양성 위험을 불균형적으로 낮출 수 있음을 보인다. 또한 OpenAI의 SynthID 워터마크가 공식 발표(2026년 5월 19일) 약 한 달 전인 4월 25일부터 GPT-Image-2 생성 이미지에 적용되기 시작했음을 실증적으로 확인한 첫 번째 연구이다.

arXiv:2308.16041v2cs.CV

픽셀에서 초상화까지: 토킹 헤드 생성 기법과 응용에 관한 종합 서베이

From Pixels to Portraits: A Comprehensive Survey of Talking Head Generation Techniques and Applications

토킹 헤드 생성(talking head generation) 기술이 GAN 기반 얼굴 애니메이션에서 확산 모델, 뉴럴 렌더링, 3D 아바타로 빠르게 발전해 온 흐름을 이미지·오디오·비디오·3D 렌더링 기반 네 가지 계열로 체계화한 종합 서베이로, 기존 정량적 지표와 지각적 품질 간의 격차를 분석하고 공개 모델들의 추론 속도·메모리 요구량·딥페이크 탐지 등 실용적 관점에서의 비교와 미해결 과제를 함께 제시한다.

arXiv:2607.03883v1cs.CV

SGF-CDNet: 얼굴 위조 탐지를 위한 의미-기하 융합 노드 기반 일관성-불일치 그래프 네트워크

SGF-CDNet: A Consistency-Discrepancy Graph Network over Semantic-Geometric Fused Nodes for Face Forgery Detection

딥페이크(deepfake)의 급격한 발전으로 인해 견고한 얼굴 위조 탐지가 필요해졌다. 위조된 얼굴에는 명확한 아티팩트가 없을 수 있지만, 서로 다른 얼굴 영역 간에 미묘한 부조화가 존재하는 경우가 많다. 우리는 의미-기하 융합(SGF) 노드 기반의 일관성-불일치 그래프 네트워크(CD-GNN)인 SGF-CDNet을 제안한다. 먼저, SGF-CDNet은 얼굴 파싱에서 추출한 의미 영역과 얼굴 랜드마크의 기하 정보를 깊이 융합하여 SGF 노드를 구성함으로써, 각 노드가 고수준 개념과 정밀한 기하학적 제약을 모두 포착할 수 있도록 한다. 다음으로, 이중 경로 CD-GNN은 이 노드들에 대해 일관성과 불일치의 두 차원에서 병렬 관계 추론을 수행한다. 일관성 경로는 얼굴 구성 요소가 자연스러운 생물학적 패턴을 따르는지 평가하고, 불일치 경로는 위조에 의해 도입된 구조적 긴장과 특징 충돌을 탐색한다. 이 두 과정을 통합함으로써, 우리 모델은 얼굴 구성 요소 간의 부조화 관계를 효과적으로 식별한다. 공개 데이터셋에 대한 광범위한 실험을 통해 SGF-CDNet이 우수한 성능을 달성함을 입증하며, 이를 얼굴 위조 탐지를 위한 신뢰할 수 있는 솔루션으로 자리매김한다.

arXiv:2607.03862v1cs.CV

텍스처 속 숨겨진 흔적: 크로스 패러다임 AI 생성 이미지 탐지를 위한 텍스처-관계 단서

Ghosts Beneath Textures: Texture-Relation Cues for Cross-Paradigm AI-Generated Image Detection

AI 생성 이미지가 급격히 확산됨에 따라 광범위한 연구가 진행되고 있다. 기존 AI 생성 이미지 탐지기 대부분은 노이즈 기반 또는 텍스트 기반 생성과 같은 이미지 자유 생성(image-free generation) 패러다임에서 개발 및 평가되었다. 그러나 이미지 조건부 생성(image-conditioned generation)은 생성 콘텐츠에 대한 보다 세밀한 제어를 가능하게 하므로 실용적 응용 분야에서 점점 더 중요해지고 있다. 이 두 패러다임에 걸쳐 AI 생성 이미지를 탐지하는 문제는 오랫동안 간과되어 온 핵심적인 크로스 패러다임 탐지 문제를 야기한다. 이 문제를 연구하기 위해, 우리는 크로스 패러다임 AI 생성 이미지 탐지를 위한 벤치마크인 ConImageGen을 구축한다. ConImageGen에 대한 평가 결과, 기존 탐지기들은 이미지 자유 생성과 이미지 조건부 생성 간에 신뢰할 만한 일반화에 실패함을 보인다. 이 문제를 해결하기 위해, 본 논문은 크로스 패러다임 포렌식 단서를 식별하고 일반화된 AI 생성 이미지 탐지를 위한 새로운 관점을 제시한다. 구체적으로, 의미론적 간섭을 억제함으로써 우리는 생성 패러다임 전반에 걸쳐 의미와 무관한 텍스처 패턴을 최초로 시각화한다. 이러한 패턴은 구조화된 국소-전역 텍스처 관계를 나타내며, 이는 일반화 가능한 포렌식 증거의 형태임을 시사한다. 이 발견에 착안하여, 우리는 명시적 아티팩트를 직접 활용하는 방식에서 텍스처 관계를 모델링하는 방향으로 초점을 전환하고, 일반화된 AI 생성 이미지 탐지를 위해 이러한 관계를 포착하고 활용하는 탐지 프레임워크인 DTS-Det을 제안한다. 광범위한 실험을 통해 우리 방법의 효과가 검증된다. DTS-Det은 다양한 평가 설정에서 최첨단 성능을 달성하며, ConImageGen에서 최적 기준선 대비 10.5% 향상된 99.6% ACC를 기록한다. 또한 PicoBanana/RAID에 대한 크로스 데이터셋 평가에서 93.2%/94.1% ACC를 달성하고, 재구성 공격 및 블랙박스 적대적 공격 하에서 각각 95.2%/88.1%의 탐지율을 유지한다.

arXiv:2607.03562v1cs.CV

XPlainVerse: 설명 가능한 딥페이크 탐지를 위한 백만 규모 벤치마크

XPlainVerse: A Million-Scale Benchmark for Explainable Deepfake Detection

딥페이크 탐지 모델이 자연어 설명을 점점 더 많이 생성함에 따라, 그 추론 과정이 시각적 아티팩트에 약하게 기반하는 경우가 많아 신뢰성과 사용자 신뢰를 저해하고 있다. 기존 벤치마크는 주로 분류(classification) 정확도를 평가하며, 설명이 실제 조작을 반영하는지 여부는 간과한다. 이러한 격차는 배포 가능하고 설명 가능한 딥페이크 탐지 시스템을 향한 발전을 저해한다. 이를 해결하기 위해, 우리는 딥페이크 탐지와 인간 중심 설명의 공동 평가를 위해 설계된 대규모 벤치마크인 XPlainVerse를 소개한다. XPlainVerse는 백만 장의 실제 이미지와 조작된 이미지로 구성되며, 다섯 개의 확립된 출처에서 수집한 원본 이미지를 열두 개의 기성 이미지 편집 및 합성 모델이 생성한 위조 이미지와 쌍으로 연결한다. 또한 우리는 다단계 필터링 파이프라인인 Edit-Check를 제안하여 조작이 의도한 편집을 만족하는지 검증함으로써, 대규모의 신뢰할 수 있는 추론 감독을 가능하게 한다. 데이터셋(dataset) 규모를 넘어, XPlainVerse는 두 가지 상호 보완적인 설명 방식을 제공한다: 전문가 분석을 위한 기술적 설명과 비전문 사용자에게 최적화된 간소화된 설명이다. 표면적 유사도를 넘어 설명 품질을 평가하기 위해, 우리는 새로운 지표인 EntityScore와 EvidenceScore를 제안한다. 이 지표들은 설명이 조작된 개체와 시각적 증거를 올바르게 식별하는지 확인함으로써 추론 충실도를 측정한다. 2,000개의 설명 쌍에 대한 인간 어노테이션이 인간 판단 대비 우리 데이터셋의 품질을 검증한다. 우리는 XPlainVerse가 근거 있는 설명 품질을 딥페이크 탐지의 측정 가능한 차원으로 확립하고, 신뢰할 수 있고 해석 가능한 모델에 대한 확장 가능한 연구를 지원할 것이라 믿는다.

arXiv:2607.03069v1cs.CV

SafeGuard: 사회적 위험 AI 생성 비디오 탐지를 위한 다중 에이전트 인식-추론 프레임워크

SafeGuard: A Multi-Agent Perception-Reasoning Framework for Social-Risk AI-Generated Video Detection

비디오 생성 패러다임이 부분적 조작에서 전체 장면 합성으로 발전함에 따라, AI 생성 비디오 탐지는 위조물이 전역적으로 일관된 구조와 높은 지각적 사실감을 나타내므로 점점 더 어려워지고 있다. 그러나 기존 벤치마크는 지각적 충실도에 편향되어 있으며, 주로 지각적 아티팩트를 기반으로 탐지기를 평가함으로써 물리 법칙 위반, 구조적 일관성, 또는 사회적 논리에 대한 추론이 필요한 시나리오를 충분히 다루지 못한다. 이러한 데이터셋 바이어스는 현재의 접근 방식을 형성하고, 인식-추론 격차(Perception-Reasoning Gap)를 야기한다: 아티팩트 중심 모델은 저수준 통계적 불규칙성을 포착하지만 의미론적 추론이 부족하고, 비전-언어 모델은 의미론적 추론을 수행하지만 세밀한 포렌식 단서에 둔감하다. 이 격차를 해소하기 위해, 우리는 포렌식 인식과 의미론적 추론 간의 협력적 전문화를 가능하게 하는 다중 에이전트 프레임워크인 SafeGuard를 제안한다. 계층적 지각 솔버(hierarchical perceptual solver)가 세밀한 포렌식 증거를 추출하고, 자기 반성적 검증기(self-reflective verifier)가 의미론적 추론과 물리적 타당성 간의 일관성을 강제하여 해석 가능한 증거 체인을 형성한다. 평가를 지원하기 위해, 우리는 물리적 타당성, 구조적 일관성, 사회적 행동의 합리성을 평가하도록 설계된 10개 사회적 위험 범주에 걸쳐 2만 개의 비디오로 구성된 새로운 AI 생성 비디오 탐지 벤치마크인 SafeVid를 소개한다. 광범위한 실험을 통해 SafeGuard의 일반화 성능을 입증하였으며, SafeVid에서 정확도를 +18.7% 향상시키고 4개의 공개 벤치마크에서 기존 방법들을 지속적으로 능가하였다.

arXiv:2607.02886v1cs.CV

SPLIT: 공간 패치 수준 비일관성과 시간적 거칠기를 통한 학습 불필요 AI 생성 및 부분 편집 영상 탐지

SPLIT: Training-Free AI-Generated and Partially Edited Video Detection via Spatial Patch-Level Incoherence and Temporal Roughness

실제 서비스에 AI 생성 영상 탐지기를 배포하려면 실제 콘텐츠를 잘못 거부하지 않기 위해 실제 영상에 대한 극도로 낮은 거짓 양성률(FPR)이 요구되며, 이는 AUROC와 같은 표준 지표가 실제 운영 동작을 반영하지 못하는 영역이다. 우리는 공간 패치 수준 비일관성 및 시간적 거칠기(SPLIT)를 소개한다. SPLIT은 동결된 비전 인코더의 패치 토큰에서 동작하는 학습 불필요(training-free) 탐지기로, 완전히 생성된 영상과 부분적으로 편집된 영상 모두를 탐지한다. SPLIT은 두 가지 상호 보완적 신호를 계산한다: 1단계 및 2단계 특징(feature) 변화 대비를 통해 비매끄러운 패치 궤적을 포착하는 2단계 시간적 거칠기(TTR, Two-step Temporal Roughness)와, 특징 공간 모션 필드의 그래디언트를 통해 공간적으로 비일관적인 시간 변화를 측정하는 지역 공간 모션 비일관성(LSMI, Local Spatial Motion Incoherence)이다. 두 신호는 엄격한 임계값에서 실제-가짜 구분을 선명히 하기 위해 감마 보정과 함께 곱셈 방식으로 융합된다. 우리는 또한 실제 영상만을 이용한 임계값 보정 및 교차 실제 임계값 전이를 적용하여 고정 FPR에서의 가짜 재현율(Fake Recall)에 기반한 서비스 정합 평가 프로토콜을 추가로 제안한다. 세 가지 벤치마크(FakeParts, GenVideo, ViF-Bench)에 걸쳐 SPLIT은 FPR = 0.1%에서 가장 높은 가짜 재현율을 달성하며, 지도 학습 및 학습 불필요 기반선 방법을 크게 상회하는 동시에 무시할 수 있는 오버헤드로 후처리에 강건성을 유지한다. 코드는 https://github.com/mldljyh/SPLIT 에서 공개적으로 이용 가능하다.