PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.16080v3cs.CV

ReAlign: 추론 정렬 표상을 통한 일반화 가능한 이미지 위조 탐지

ReAlign: Generalizable Image Forgery Detection via Reasoning-Aligned Representation

AI 생성 이미지(AIGI)의 부상은 디지털 진위성에 대한 과제를 점점 더 심화시키고 있으며, 이에 따라 효율적이고 일반화 가능한 이미지 위조 탐지 시스템의 필요성이 대두되고 있습니다. 비(Non)-대규모 언어 모델(LLM) 기반이든 LLM 기반이든, 기존 방법들은 뚜렷한 장단점을 보입니다. 비-LLM 기반 모델은 효율적인 저수준 아티팩트(artifact) 탐지를 제공하지만 종종 의미론적 이해가 부족합니다. 반대로, LLM 기반 방법은 강력한 의미론적 추론과 설명 가능성을 제공하지만 계산 집약적이며 미세한 시각적 아티팩트에 덜 민감합니다. 나아가 위조 탐지 성능에 대한 설명적 추론 텍스트의 실질적인 기여도는 여전히 불분명합니다. 본 연구에서는 LLM이 생성한 추론 텍스트의 본질적 가치와 잠재력을 일반화 및 의미론적 오류 민감성의 원천으로 간주하여 조사합니다. 이러한 발견을 바탕으로, 대조 학습(contrastive learning)을 통해 GRPO로 최적화된 LLM이 생성한 고품질 추론 텍스트를 경량 AIGI 탐지기로 지식 증류(distillation)하는 새로운 프레임워크인 ReAlign을 제안합니다. ReAlign은 배포를 위한 효율성과 경량성을 유지하면서도 추론 텍스트 표상의 일반화 능력과 의미론적 민감도 능력을 효과적으로 계승합니다. 또한, ReAlign은 이미지-텍스트 정렬을 위한 대조 손실(loss)과 정확한 위조 판별을 위한 분류(classification) 손실을 통합하는 맞춤형 공동 최적화 전략을 채택합니다. AIGCDetectBenchmark, AIGI-Holmes, 그리고 새롭게 구축된 UltraSynth-10k에 대한 실험 결과는 ReAlign이 최신 생성 모델로부터 생성된 복잡하고 충실도 높은 위조를 마주했을 때 특히 정확도와 일반화 측면 모두에서 기존 SOTA(state-of-the-art) 탐지기들을 일관되게 능가함을 입증합니다.

arXiv:2506.23292v3cs.CV

DDL: 다양한 실제 환경 시나리오에서의 딥페이크 탐지 및 위치 특정을 위한 대규모 데이터셋

DDL: A Large-Scale Dataset for Deepfake Detection and Localization in Diversified Real-World Scenarios

최근 AI 생성 콘텐츠(AIGC)의 발전으로 악의적인 딥페이크 콘텐츠의 오용이 심화됨에 따라, 신뢰할 수 있는 딥페이크 탐지 방법의 개발은 이러한 문제를 해결하기 위한 필수적인 수단이 되었습니다. 기존 딥페이크 탐지 모델들이 탐지 지표에서 뛰어난 성능을 보이고 있음에도 불구하고, 대부분의 방법은 단순한 이진 분류(binary classification) 결과만을 제공하여 해석 가능성(interpretability)이 부족합니다. 최근 연구들은 공간적 조작 마스크나 시간적 위조 구간을 제공함으로써 분류 결과의 해석 가능성을 높이고자 시도했습니다. 그러나 위조 데이터셋(dataset)의 한계로 인해 이러한 방법들의 실질적인 효과는 여전히 미흡한 수준입니다. 그 주된 이유는 대부분의 기존 딥페이크 데이터셋이 이진 레이블만을 포함하고, 위조 시나리오의 다양성이 제한적이며, 딥페이크 유형의 다양성이 불충분하고, 데이터 규모가 비교적 작아 복잡한 실제 환경 시나리오에 적용하기에 부적합하기 때문입니다. 이러한 난제를 해결하기 위해, 본 연구에서는 140만 개 이상의 위조 샘플을 포함하고 80개의 서로 다른 딥페이크 방법을 포괄하는 새로운 대규모 딥페이크 탐지 및 위치 특정(DDL) 데이터셋을 구축합니다. DDL의 설계는 네 가지 핵심 혁신을 포함합니다: (1) 포괄적인 딥페이크 방법(7가지 서로 다른 생성 아키텍처와 총 80가지 방법 포함), (2) 다양한 조작 모드(7가지 고전적 위조 모드와 3가지 새로운 위조 모드 접목), (3) 다양한 위조 시나리오 및 모달리티(3가지 시나리오와 3가지 모달리티 포함), (4) 세밀한 위조 주석(118만 개 이상의 정밀한 공간 마스크와 23만 개 이상의 정밀한 시간 구간 제공). 이러한 개선을 통해 DDL은 복잡한 실제 환경의 위조에 대한 더욱 도전적인 벤치마크를 제공할 뿐만 아니라, 차세대 딥페이크 탐지, 위치 특정 및 해석 가능성 방법 구축을 위한 중요한 기반을 제공합니다.

arXiv:2610.01778v1cs.CV

GIFTBench: 이미지 위조 국소화에서의 일반화 진단 및 모델 설계 안내

GIFTBench: Diagnosing Generalization in Image Forgery Localization and Informing Model Design

이미지 위조 국소화(image forgery localization, IFL)에 대한 신뢰할 수 있는 평가(evaluation)는 다양한 분포 변화 하에서 모델(model)을 평가할 것을 요구하지만, 기존 벤치마크(benchmark)들은 제한된 조작 조건만을 다루거나 교차 데이터셋 평가에서 여러 요인을 뒤얽히게 만드는 경우가 많습니다. 결과적으로 종합적인 성능만으로는 국소화 일반화(generalization)에 대한 불완전한 시각만을 제공하게 됩니다. 본 연구에서는 조작 출처, 의미론적 대상, 편집 연산, 합성 복잡도에 걸쳐 픽셀 수준 주석이 포함된 115,013개의 조작 이미지로 구성된 다축 벤치마크인 GIFTBench를 소개합니다. GIFTBench는 축별 전이 분석과 12개의 외부 데이터셋(dataset)에 대한 평가를 지원합니다. 본 벤치마크의 진단 연구는 비대칭적 교차 출처 전이, 재현율(recall) 위주의 실패, 그리고 의미론적·연산적·합성적 변화에 걸친 이종적 성능 저하를 밝혀냅니다. 진단을 넘어, GIFTBench의 규모와 다양성은 기존 IFL 데이터셋보다 실질적으로 훨씬 더 넓은 학습(training) 분포를 제공합니다. GIFTBench에서 대표적인 국소화 모델들을 학습시키면 외부 데이터셋으로의 종합적인 전이 성능이 일관되게 향상되며, 이는 본 벤치마크가 평가 도구뿐만 아니라 도메인 간 국소화를 위한 효과적인 학습 자원으로도 기능함을 보여줍니다. 이러한 진단 결과를 바탕으로, 우리는 분류(classification)에 적응된 표현과 다중 심도·다중 스케일 공간 특징, 학습된 층(layer) 융합, 선택적 조대 스케일 조건화를 결합한 탐지 및 국소화 프레임워크인 ForenScope를 추가로 개발했습니다. 실험 결과, 이미지 수준의 탐지 능력을 유지하면서도 향상된 교차 데이터셋 국소화 성능을 보였습니다. GIFTBench 데이터셋 쇼케이스 페이지는 https://giftbench-preview.doudoudouya337.chatgpt.site 에서 확인할 수 있습니다.

arXiv:2606.21138v2cs.CV

SEED: 설명 가능한 텍스트 위조 탐지를 위한 Simple ViT와 Evolving Harness

SEED: Simple ViT and Evolving Harness for Explainable Text Forgery Detection

AI 보조 이미지 편집은 금융, 법률, 신원 기록에 대한 신뢰를 위협한다. ACM MM 2026 GenText-Forensics Challenge는 다국어 텍스트 중심 위조 이미지에 대해 탐지, 픽셀 수준 위치 특정, 자연어 설명을 통합한 구조화된 포렌식 보고서를 요구함으로써 이 문제를 다룬다. 본 논문은 세 가지 구성 요소로 이루어진 모듈형 시스템 SEED를 제안한다. 첫째, 유사도 유도(similarity-guided) 파이프라인이 다양한 합성 위조로 학습을 증강한다. 둘째, LoRA 적응을 적용한 DINOv3 기반의 단일 ViT가 최소한의 학습 가능 파라미터로 사전학습 prior를 보존하면서 탐지와 픽셀 수준 위치 특정을 공동으로 수행한다. 셋째, evolving harness는 탐지기의 예측을 입력으로 받아 다중모달 LLM(MLLM)을 통해 완전한 포렌식 보고서를 생성하며, 보고서 품질을 최적화하는 제안자-평가자(proposer-evaluator) 루프를 통해 반복적으로 개선된다. SEED는 GenText-Forensics Challenge에서 3위를 기록했다. 코드와 데이터는 https://github.com/KahimWong/GenText-Forensics-3rd-Place 에서 제공된다.

arXiv:2607.24090v1cs.CV

지문 프레젠테이션 공격 탐지를 위한 캐스케이드 위조 채굴 네트워크

Cascade Forgery Mining Network for Fingerprint Presentation Attack Detection

지문 프레젠테이션 공격 탐지(PAD)는 무단 접근으로부터 보호하는 수단으로서 지문 식별 시스템의 핵심 구성 요소이다. 본 논문에서는 지문 이미지의 서로 다른 영역이 서로 다른 아티팩트 추출 난이도(AED, Artifact Extraction Difficulty)를 보일 수 있으며, 고-AED 영역은 더 미묘한 판별 증거를 포착하기 위해 더 정교한 추출 메커니즘이 필요함을 관찰한다. 이 문제를 해결하기 위해, 로컬 Gabor 특징 확실성을 사용하여 AED를 정량화하고 각 AED 값에 따라 지문 이미지를 여러 영역으로 분할하는 방법을 제안한다. 이어서 이질적인 AED 값을 갖는 영역 전반에서 더 정밀하고 포괄적인 아티팩트 증거를 탐지하기 위해 적응형 깊이 특징 추출 아키텍처를 사용하는 AED 유도 캐스케이드 위조 채굴 네트워크(CFM-Net)를 제안한다. 또한 원본 아티팩트 증거의 무결성을 보존하면서 PAD 특징에서 신원 정보를 걸러내기 위한 방향 유도 적대적 학습(OGAT, Orientation Guided Adversarial Training) 모듈을 도입한다. LivDet 데이터셋에 대한 실험적 평가는 최신(state-of-the-art) 방법 대비 본 접근법의 우수한 성능을 보여주며, 고 AED 지문의 분류 능력에서 유의미한 향상을 달성한다.

arXiv:2607.06615v2eess.IV

이미지 수준 위조 스크리닝을 위한 형식 통제 다중 스케일 JPEG 압축 응답 분석

Format-Controlled Multi-Scale JPEG Compression Response Analysis for Image-Level Forgery Screening

디지털 포렌식에서 이미지 위조 탐지는 중요한 과제이지만, 많은 딥러닝 기반 국소화(localization) 접근법은 일반적으로 GPU 가속을 사용하며 수작업 스크리닝 방법보다 계산 비용이 더 큽니다. 우리는 CPU 연산과 그래디언트 부스팅 트리(gradient boosted trees)만을 사용하여 이미지 수준 위조 스크리닝을 위한 경량이면서 해석 가능한 특징 공학 파이프라인을 제안합니다. 우리 방법은 7개 JPEG 품질 수준에서 계산된 \emph{다중 스케일 오류 수준 분석}(Error Level Analysis, ELA)을 도입하며, 이어붙인(spliced) 영역의 특징인 이중 압축 아티팩트를 포착하는 새로운 \emph{교차 품질 ELA 비율} 특징과 결합되고, 공간 엔트ropy(spatial entropy), FFT 에너지 대역, 엣지 밀도, SRM 잔차, DCT 블록(blockiness) 특성으로 보강되어 405차원 특징 벡터를 생성합니다. CASIA v2.0에는 형식 혼란 요인(format confound)이 존재합니다(조작된 이미지의 60\%가 TIFF인 반면, 진본 이미지는 JPEG/BMP이며 TIFF 샘플이 없음). 이로 인해 단순한 \texttt{is\_tiff} 분류기가 0.80 AUC에 도달할 수 있습니다. 이를 엄격한 형식 통제 평가를 통해 해결합니다. JPEG 전용 부분집합(TIFF/JPEG 컨테이너 혼란 요인을 제거한 9,501장의 이미지)에서 우리 방법은 5-fold 계층화 교차 검증을 사용하여 AUC~=~0.990 [95\% CI: 0.988--0.991] 및 F1~=~0.905를 달성합니다. 보수적인 출처 인식(source-aware) 그룹 분할(관련 이미지가 학습과 테스트에 동시에 나타나지 않도록 함) 하에서도 AUC는 0.976을 유지합니다. 소거(ablation) 연구 결과, 다중 스케일 ELA가 지배적인 성능 향상을 제공함(형식 통제 부분집합에서 단일 품질 대비 AUC +0.180)을 보여주며, 교차 품질 비율은 보완적인 이중 압축 탐지를 제공합니다. 이 결과는 해당 방법이 파일 형식 단축이 아니라 압축 이력 불일치를 탐지함을 뒷받침하며, 특징 수준 해석 가능성, CPU 전용 배포, 1초 미만 추론을 제공합니다.

arXiv:2607.08156v1cs.CV

세밀한 의미론적 지도를 통한 통합 얼굴 공격 탐지

Unified Face Attack Detection via Fine-Grained Semantic Guidance

얼굴 인식 시스템의 다양한 공격(딥페이크, 스푸핑 등)을 통합 탐지하기 위해, 800만 장 이상의 공격 이미지로 구성된 MS-UFAD 데이터셋에 MLLMs(InternVL3)로 생성한 세밀한 위조 단서 텍스트 설명을 추가하고, 이를 활용하는 이중 정렬 위조 네트워크(DAF-Net)와 의미론적 위조 집약 모듈(SFAM)을 제안하여 비전 단독 방법 및 거친 텍스트 기반 방법 대비 우수한 일반화 성능을 달성하였다.