PyTorchKR Papers

최신 논문

총 613편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00902v1cs.CV

MG-RWKV: 시간적 위조 구간 탐지를 위한 다중 세분화 컨텍스트 인식 RWKV

MG-RWKV: Multi-Grained Context-Aware RWKV for Temporal Forgery Localization

RWKV의 데이터 의존적 상태 진화를 활용해 O(T) 선형 복잡도로 시간적 위조 구간 탐지(TFL)를 수행하는 MG-RWKV 프레임워크를 제안하며, 양방향 RWKV 아키텍처, 다중 세분화 전문가 혼합(MG-MoE), 교차 세분화 일관성(CGC) 모듈을 통해 전역 컨텍스트 압축과 지역적 위조 경계 인식을 동시에 달성한다. Lav-DF, TVIL, Psynd 데이터셋 실험에서 기존 CNN 및 Transformer 기반 방법 대비 낮은 계산 비용으로 최고 성능을 달성했다.

arXiv:2606.28510v1cs.HC

Generative AI Literacy Training Improves Intelligence Analysts' Discrimination of Real and AI-Generated Images

Across social and online platforms, people are increasingly exposed to AI-generated images. As a consequence, the task of distinguishing AI-generated from authentic images is becoming a central challenge for information ecosystems. While humans perform better than chance, accuracy falls short of many operational needs. Initial evidence shows that visually oriented training can improve deepfake detection but does not improve participants' ability to identify real images as real. Here, we investigate the efficacy of a brief training intervention for intelligence analysts employed by the United States government in 2024. We conducted a counterbalanced within-subject randomized experiment in which we showed participants real and AI-generated images varying in pose complexity and scene context and asked them whether each image was real or AI-generated, both before and after an expert delivered a 30-minute training that pointed out patterns in seven real and 50 AI-generated images. We collected 2,544 image-level judgments from 32 intelligence analysts. We find training increased overall accuracy by 9 percentage points (95% CI: [2.7, 15.4]) from a baseline of 72%. We find the improvement is driven by a 14.2 percentage point increase in accuracy for real images (95% CI: [0.7, 27.7]). Through a careful experimental setup that curated matched pairs of real and AI-generated images across pose complexity categories, we reveal how these trainings influence people with different levels of digital forensics and generative AI experience and identify the kind of image-based content where this training intervention appears to be most effective. Ultimately, these results provide causal evidence that a brief, structured training can improve human judgment across a diverse array of real and AI-generated images, informing organizational responses to AI-generated visual misinformation.

arXiv:2606.27637v1cs.CV

CNN과 Vision Transformer 융합을 통한 AI 생성 이미지 인식

AI-Generated Image Recognition via Fusion of CNNs and Vision Transformers

최근 합성 데이터 기술의 발전으로 뛰어난 품질의 이미지가 생성되는 새로운 시대가 열렸으며, 실제 이미지와 인공지능(AI)이 생성한 이미지 간의 경계가 모호해지고 있다. 이러한 변화는 데이터의 신뢰성과 진위성을 보장하는 데 큰 과제를 제기하며, 견고한 탐지 방법의 필요성을 강조한다. 본 논문에서는 이러한 시급한 문제를 해결하기 위한 견고한 접근법을 제시한다. 우리의 방법론은 융합 전략을 활용하여 AI 생성 이미지를 식별하기 위해 여러 탐지 방법의 강점을 결합하는 것에 중점을 둔다. CIFAKE 데이터셋에서 광범위한 실험을 통해, 우리 모델은 97.32%라는 인상적인 정확도를 달성하며 뛰어난 성능을 보여준다. 이 성과는 AI 생성 이미지와 실제 이미지를 정확히 구분하는 우리 접근법의 효과를 부각하며, 합성 데이터의 확산 속에서 데이터 인증 기술의 발전에 기여한다.

arXiv:2606.26552v1cs.CV

지각, 판정, 진화: AI 생성 이미지 탐지를 위한 후견 주도 자기 정제 포렌식 에이전트

Perception, Verdict, and Evolution: Hindsight-Driven Self-Refining Forensics Agent for AI-Generated Image Detection

AI 생성 이미지 탐지의 정확도를 높이기 위해 의미적·주파수·공간 영역의 다중 관점 단서를 통합한 Perception-Verdict 아키텍처와, 정답 라벨을 후견(hindsight)으로 삼아 실패 사례를 고품질 학습 신호로 변환하는 Hindsight-Driven Self-Refining 전략을 결합한 에이전트 프레임워크 ForeAgent를 제안한다. ForeAgent는 Chameleon 벤치마크에서 82.18% 정확도(AIDE 대비 +16.41%p), AIGCDetectBenchmark에서 16개 생성기 평균 93.3% 정확도로 최첨단 성능을 달성하며 GPT-5 대비 더 일관되고 인과적으로 근거 있는 추론을 생성함을 입증했다.

arXiv:2606.26384v1cs.CV

딥페이크 벤치마크는 무엇을 측정하는가? 고정된 자기지도 표현을 이용한 감사

What Do Deepfake Benchmarks Measure? An Audit Using Frozen Self-Supervised Representations

딥페이크 벤치마크가 실제로 무엇을 측정하는지, 고정된 범용 자기지도(self-supervised) 표현 위의 선형 프로브(linear probe)로 비디오·이미지·오디오 탐지 벤치마크를 진단한다. 세 모달리티 모두에서 단순 프로브가 맞춤형 탐지기 성능에 근접하고 생성기별 난이도는 동일 표현 공간의 Fréchet 기하학으로 부분 설명됨을 보여, 높은 점수가 포렌식적 이해가 아니라 범용 모달리티 이해를 주로 반영할 수 있음을 시사한다.

arXiv:2606.22772v1cs.CV

LoCC: 반사실적 프레임 일관성을 통한 립싱크 딥페이크 탐지 및 위치 특정

LoCC: Detection and Localization of Lip-Syncing Deepfakes via Counterfactual Frame Consistency

립싱크 딥페이크는 조작된 미디어 중 가장 어려운 유형 중 하나이며, 이는 아티팩트가 거의 전적으로 입 주변 영역에 국한되고 시간에 따라 동적으로 변화하기 때문이다. 이러한 딥페이크를 탐지하려면 입술 움직임에 대한 정밀한 시간적·공간적 모델링이 필요하다. 본 논문에서는 세그먼트 수준과 프레임 수준 모두에서 립싱크 딥페이크를 세밀하게 탐지하고 위치를 특정하는 새로운 탐지 프레임워크인 LoCC를 제안한다. 동영상을 전체적으로 분석하는 기존 접근법과 달리, 본 방법은 각 프레임이 시간적 이웃으로부터 생성된 반사실적(counterfactual) 추정치와 일치하는지 평가한다. 실제 동영상은 강하고 안정적인 일관성을 보이는 반면, 립싱크 딥페이크는 국소적 불일치를 유발한다. 교사-학생(teacher-student) 학습 패러다임을 따르면, 우리 모델은 이러한 프레임 수준 불일치를 효과적으로 포착하며 LAV-DF, AVDF1M, FakeAVCeleb, KODF를 포함한 여러 벤치마크 립싱크 딥페이크 데이터셋에서 최신(state-of-the-art) 방법들 대비 우수한 성능을 달성하고, 다양한 압축 수준과 데이터셋에 걸쳐 잘 일반화한다.

arXiv:2606.19184v1cs.CV

AUC가 오도할 때: 도메인 이동 하에서 딥페이크 탐지기의 극성 인식 평가

When AUC Misleads: Polarization-Aware Evaluation of Deepfake Detectors under Domain Shift

디퓨전 모델(diffusion model) 및 얼굴 교체 도구와 같은 생성형 AI의 최근 발전은 매우 현실적인 딥페이크 생성을 가능하게 했으며, 이로 인해 금융 사기 및 동의 없는 음란물을 포함한 실제 피해가 발생하고 있습니다. 이에 대응하여 딥페이크 탐지는 활발한 연구 분야가 되었으며, 최근 방법들은 보이지 않는 조작(unseen manipulation)에 대한 일반화(generalization) 개선에 점점 더 집중하고 있습니다. 이는 일반적으로 여러 데이터셋(dataset)에 대해 별도로 측정된 ROC 곡선 아래 면적(AUC)을 사용하여 평가됩니다. 그러나 이러한 평가는 탐지기가 데이터 소스의 혼합과 다양한 인공물(artifact) 유형에 직면하는 실제 시나리오를 반영하지 못합니다. 이러한 제한을 해결하기 위해, 우리는 도메인 이동(domain shift)에 대한 강건성(robustness)을 고려하기 위해 도메인별 AUC를 예측 극성(prediction polarization) 측정치와 함께 평균화하는 새로운 지표인 교차 데이터셋 AUC(Cross-AUC)를 제안합니다. 극성의 정도는 클래스 점수 분포 사이의 와서스테인 거리(Wasserstein Distance)로 정량화됩니다. Cross-AUC는 도메인 이동 하에서 딥페이크 탐지기의 일반화 능력을 더 현실적으로 평가할 뿐만 아니라, 성능 저하의 이유를 더 잘 설명하므로 해석 가능(interpretable)합니다. 7개의 벤치마크 데이터셋(benchmark dataset)에서 수행된 실험이 그 실용적 관련성을 입증합니다.

arXiv:2511.04260v3cs.CV

Proto-LeakNet: 합성 인간 얼굴 이미지에서 시그널 리크 인식 속성 부여를 향하여

Proto-LeakNet: Towards Signal-Leak Aware Attribution in Synthetic Human Face Imagery

합성 이미지 및 딥페이크 생성 모델의 점차 정교해짐에 따라, 출처 추적(source attribution)과 진위성 검증(authenticity verification)은 현대 컴퓨터 비전 시스템의 중요한 과제가 되었습니다. 최근 연구에 따르면 디퓨전 파이프라인(diffusion pipeline)은 의도치 않게 지속적인 통계적 흔적, 즉 시그널 리크(signal-leaks)를 출력물, 특히 잠재 표현(latent representation) 내에 남기는 것으로 나타났습니다. 이러한 관찰을 바탕으로, 우리는 Proto-LeakNet이라는 시그널 리크 인식 및 해석 가능한 속성 부여(attribution) 프레임워크를 제안합니다. 이 프레임워크는 학습된 임베딩(embedding)에 대해 닫힌 집합 분류(Closed-set classification)와 밀도 기반 열린 집합 평가(density-based Open-set evaluation)를 통합하여, 재학습 없이 본 적 없는 생성기(unseen generator)의 분석을 가능하게 합니다. 디퓨전 모델의 잠재 도메인(latent domain)에서 작동하는 본 방법은 생성기 고유의 잔여 단서를 드러내기 위해 부분적인 순방향 디퓨전(partial forward diffusion)을 재시뮬레이션합니다. 시간적 어텐션 인코더(temporal attention encoder)가 다단계 잠재 특징을 집계하는 한편, 특징 가중치 프로토타입 헤드(feature-weighted prototype head)는 임베딩 공간을 구조화하여 투명한 속성 부여를 가능하게 합니다. 폐쇄형 데이터(closed data)로만 학습되어 Macro AUC 98.13%를 달성한 Proto-LeakNet은 후처리(post-processing)에도 견고한 잠재 기하학(latent geometry)을 학습하며, 최첨단 방법(state-of-the-art methods)을 능가하고 실제 이미지와 알려진 생성기 간, 그리고 알려진 생성기와 본 적 없는 생성기 간의 강력한 분리성을 달성했습니다. 코드베이스는 다음 링크에서 확인할 수 있습니다: https://github.com/claudiunderthehood/Proto-LeakNet .

arXiv:2606.11674v1cs.SD

SpAArSIST: 효율적이고 신뢰할 수 있는 스푸핑 방지를 위한 희소화된 AASIST

SpAArSIST: Sparsified AASIST for Efficient and Reliable Anti-Spoofing

우리는 자기지도 학습(SSL) 기반 스푸핑 방지(anti-spoofing)를 위해 널리 사용되는 AASIST 그래프 풀링(pooling) 백엔드의 배포 지향적 개선안인 SpAArSIST를 제안합니다. 공개 구현체의 중복 연산에서 착안하여, 학습 가능한 풀링과 스택 노드 어텐션(attention)을 명시적이고 가벼운 선택지로 대체했습니다: 분리된 학습 및 추론(inference) 그래프 풀링 비율 $(k_{\mathrm{tr}},k_{\mathrm{inf}})$, 크기 기반 노드 스코어링, 그리고 그래프 노드의 평균 집계입니다. 최상의 전체 구성(rank 1)은 백엔드 연산량을 20.7% (195.045M $\rightarrow$ 154.706M MACs) 감소시키고 모델 크기를 4.1% (611.8k $\rightarrow$ 586.4k params) 줄이는 동시에, In-the-Wild 데이터셋에서의 도메인 외(OOD) 견고성을 2.82% EER 및 0.078 minDCF(기존 4.64% 및 0.133)로 개선했으며, ASVspoof5에서도 경쟁력 있는 성능을 유지했습니다. 또한, 균형 잡힌 배포 지향적 모델 선택을 지원하기 위해 정확도, 보정(calibration), 연산량을 요약하는 복합 선택 점수를 제공합니다.

arXiv:2510.08073v2cs.CV

물리 기반 시공간 모델링을 통한 AI 생성 영상 탐지

Physics-Driven Spatiotemporal Modeling for AI-Generated Video Detection

AI 생성 영상은 거의 완벽한 시각적 사실성(예: Sora)을 달성하여, 신뢰할 수 있는 탐지 메커니즘이 시급히 필요합니다. 그러나 이러한 영상을 탐지하는 것은 고차원 시공간 역학을 모델링하고 물리 법칙을 위반하는 미세한 이상 징후를 식별하는 데 있어 중대한 과제에 직면해 있습니다. 본 논문에서는 확률 흐름 보존 원칙에 기반한 최초의 물리 기반 AI 생성 영상 탐지 패러다임을 제안합니다. 구체적으로, 공간 확률 그래디언트와 시간적 밀도 변화의 비율을 정량화하여 자연스러운 영상 역학에서의 편차를 명시적으로 포착하는 정규화 시공간 그래디언트(Normalized Spatiotemporal Gradient, NSG)라는 통계량을 제안합니다. 사전학습된 디퓨전 모델을 활용하여, 복잡한 모션 분해 없이 물리적 제약 조건을 유지하면서 공간 그래디언트 근사와 모션 인식 시간적 모델링을 통해 NSG 추정기를 개발합니다. 이를 바탕으로, 테스트 영상과 실제 영상의 NSG 특징 간의 최대 평균 차이(Maximum Mean Discrepancy, MMD)를 탐지 지표로 계산하는 NSG 기반 영상 탐지 방법(NSG-VD)을 제안합니다. 마지막으로, 실제 영상과 생성 영상 간의 NSG 특징 거리에 대한 상한을 도출하여, 생성 영상이 분포 변화로 인해 증폭된 불일치를 나타냄을 증명합니다. 광범위한 실험을 통해 NSG-VD가 최신 기준 모델 대비 재현율(Recall)에서 16.00%, F1 점수(F1-Score)에서 10.75% 우수한 성능을 보여 NSG-VD의 우수성을 입증했습니다. 소스 코드는 https://github.com/ZSHsh98/NSG-VD에서 확인할 수 있습니다.

arXiv:2606.07090v1cs.CV

원본 비디오 스트림에서 시간적으로 국소화된 조작 탐지

Detecting Temporally Localized Manipulations in Authentic Video Streams

비디오 편집 및 생성형 인공지능 기술의 급속한 발전으로 현실적인 비디오 조작이 점점 더 쉬워지고 있다. 기존 데이터셋은 딥페이크(deepfake) 탐지, 객체 제거(object removal), 비디오 인페인팅(video inpainting) 연구를 크게 발전시켰지만, 짧게 조작된 구간이 그 외에는 원본인 비디오에 삽입되고 이후 원본 비디오가 이어지는 시나리오를 충분히 반영하지 못한다. 본 연구에서는 문헌의 대표적인 데이터셋을 검토하고, 그 특성을 분석하며, 시간적으로 국소화된 현실적 조작 탐지와 관련하여 한계를 논의한다. 이 분석을 바탕으로, 짧고 매우 현실적인 조작 구간을 포함하는 원본 비디오를 위해 특별히 설계된 새로운 데이터셋의 필요성을 제시한다. 마지막으로, 이 도전적인 시나리오에 대한 초기 벤치마크를 확립하기 위해 자체 구축한 테스트 세트에서 두 가지 상호 보완적인 접근법을 평가한다. 첫 번째 방법은 DINOv3 특징에 선형 프로브(linear probe)를 적용하며, 세 가지 임계값 설정(thresholding) 전략 하에서 평가한다. 두 번째 방법은 DINOv3 특징과 연속 프레임 유사도 기반 방법을 활용하여 시간적 조작 경계를 탐지한다. 이러한 실험들은 함께 부분적으로 조 manipulated 비디오 탐지에 대한 초기 벤치마크를 제공하며, 콘텐츠 적응형(content-adaptive) 임계값 메커니즘의 필요성을 강조한다. 데이터셋, 코드, 보충 자료는 https://github.com/OkanUmur/temporally-localized-video-manipulation-detection 에서 공개적으로 이용할 수 있다.

arXiv:2606.06918v1cs.CV

DRIFT: AI 생성 이미지 탐지를 위한 강건성 격차에서 불변 다양체로

DRIFT: From Robustness Gaps to Invariance Manifolds for AI-Generated Image Detection

생성 이미지 모델의 급격한 발전은 기존 AI 생성 이미지 탐지기에 도전을 제기하며, 특히 미지의 생성기를 포함하는 오픈 월드 환경에서 더욱 두드러진다. 최근의 학습 없는 접근법들은 동결된 비전 기반 모델(VFM)에서 강건성 격차를 측정하고, 섭동에 의한 임베딩 드리프트를 통해 가짜 이미지를 탐지한다. 그러나 이러한 방법들은 사전학습에서 상속된 고정된 불변 기하학에 의존하며 탐지 과제에 대한 원칙적 적응이 부족하다. 우리는 이와 달리 AI 생성 이미지 탐지를 단일 클래스 감독 하에 실제 이미지의 구조화된 불변 다양체를 학습하는 문제로 공식화한다. 동결된 VFM을 기반으로, 표현 공간을 상보적인 강건한 서브공간과 취약한 서브공간으로 분해하는 경량 투영 헤드를 도입한다. 강건한 서브공간은 물리적으로 타당한 이미징 변환에 의해 유도된 변동을 억제하도록 명시적으로 학습되어 실제 이미지 다양체의 접선 방향을 근사하며, 취약한 서브공간은 편집 유사 섭동에 대한 민감도를 유지한다. 구조화된 순서 마진은 물리적 불변성과 편집 유도 변동성 간의 계층적 분리를 강제하여, 학습된 다양체에 대한 마진 위반 테스트로서의 탐지를 가능하게 한다. 추론 시, 두 변환 계열 모두에 대한 다중 스케일 패치별 드리프트는 이중 채널 불변 서명과 해석 가능한 로컬라이제이션을 산출한다. 광범위한 실험을 통해 미지의 생성기와 해상도에 걸쳐 강력한 오픈 월드 일반화가 입증되며, 해석 가능한 불변성 위반 맵을 제공하면서 학습 없는 강건성 기반 기준선을 지속적으로 능가함을 보인다.

arXiv:2606.06666v1cs.CV

딥페이크 탐지를 위한 아키텍처 적응형 불확실성 융합

Architecture-Adaptive Uncertainty Fusion for Deepfake Detection

딥페이크 탐지 시스템은 벤치마크에서 완벽에 가까운 정확도를 달성하지만, 포렌식 배포 환경에서는 신뢰할 수 있는 예측 불확실성이 요구된다. 기존의 불확실성 정량화(UQ) 방법들은 단일 출처에 의존하며, 최적의 불확실성 구성이 아키텍처마다 다르다는 점을 간과한다. 우리는 다섯 가지 상호 보완적인 불확실성 출처—인식론적(epistemic), 우연적(aleatoric), 보정(calibration), 컨포말(conformal), 분포적(distributional)—를 융합하는 아키텍처 적응형 프레임워크인 상관관계 최적화 융합(COF, Correlation-Optimized Fusion)을 제안한다. COF는 확률 심플렉스(probability simplex) 위의 제약 최적화를 통해 융합된 불확실성 점수와 예측 오류 간의 피어슨 상관관계를 최대화하며, 모델 수정이 필요 없고 가중치 최적화에 단 42초만 소요된다. 이는 5개 모델 Deep Ensemble의 20~45시간과 대비된다. FaceForensics++에서 11개 아키텍처에 대한 평가는 근본적인 트레이드오프를 드러낸다: 동일한 학습/평가 프로토콜 하에서 비선형 방법들이 도메인 내 상관관계에서 COF보다 약 5~6% 더 높은 성능을 달성하지만(평균 r = 0.438), 이는 분포 이동(distribution shift) 상황에서 역전된다. CelebDF에서 COF는 11개 아키텍처 중 9개에서 랜덤 포레스트를 최대 7.3배 높은 상관관계로 능가하며(MaxViT-B: r = 0.249 vs. 0.034), 랜덤 포레스트가 크로스 도메인에서 r = 0.071로 85% 저하되는 반면 COF는 r = 0.116으로 74% 하락에 그쳐 훨씬 더 많은 신호를 유지한다. CelebDF와 DFDC에 대한 크로스 데이터셋 평가는 모든 방법에서 치명적인 일반화 실패를 드러낸다: 0.41~0.47의 도메인 내 상관관계가 외부 평가에서 거의 0으로 붕괴되고(평균 저하율 90.7%), 11개 아키텍처 중 7개에서 불확실성 역전(uncertainty inversion) 현상이 나타난다. 이러한 결과는 COF를 통제된 분포 배포를 위한 실용적이고 해석 가능한 프레임워크로 확립하는 동시에, 도메인 적응 UQ를 포렌식 배포의 핵심적인 미해결 과제로 규명한다.