PatchHead: 일반화 가능한 AI 생성 이미지 탐지를 위한 공간 패치 증거 학습
PatchHead: Learning Spatial Patch Evidence for Generalizable AI-Generated Image Detection
한국어 초록
학습과 테스트 이미지가 서로 다른 생성기(generator) 또는 데이터셋에서 유래할 때, AI 생성 이미지 탐지기는 일반화가 잘 되지 않는다. DINO와 같은 비전 기반 모델(vision foundation model)이 풍부한 공간 표현을 만들어냄에도 불구하고, 기존 탐지기는 대개 전역적으로 집약된 CLS 토큰만으로 이미지를 분류한다. 우리는 DINO 특징을 단일 CLS 토큰으로 전역 집약하면 공간적으로 분포된 생성 흔적이 가려진다고 가설을 세운다. 이 가설을 검증하기 위해 PatchHead를 제안한다. PatchHead는 DINO 패치 토큰의 2차원 구조를 유지하고 인접 영역에 걸친 증거를 통합하는 경량 공간 집약 헤드(spatial aggregation head)이다. 학습 동안 사전학습된 DINO 백본을 고정(freeze)하고, 삽입한 LoRA 어댑터, PatchHead, 보조 투영(projection) 헤드만 최적화한다. 수동 큐레이션과 in-the-wild 설정을 아우르는 9개의 교차 데이터셋 벤치마크에서 PatchHead는 7개 데이터셋에서 1위, 나머지 2개에서 2위를 기록한다. 기존 최강 방법 대비 평균 균형 정확도(balanced accuracy)를 91.6%에서 94.6%로 (+3.0 포인트) 끌어올리고, 최악 케이스 정확도를 82.4%에서 89.4%로 (+6.9 포인트) 향상시키면서, 학습 가능 파라미터는 8.6%만, FLOPs는 0.08%만 추가한다. 추가 정성 분석은 PatchHead가 (i) 클래스 조건부 도메인 불일치(class-conditional domain discrepancy)를 줄이고, (ii) 표현을 콘텐츠 지배적 saliency에서 공간적으로 분포된 진위(authenticity) 증거 쪽으로 전환시킨다고 시사한다. 이러한 관찰은 함께, 단일 CLS 기반 전역 표현보다 공간 패치 집약이 생성기와 데이터셋 간에 더 안정적으로 전이(transfer)되는 이유에 대한 표현 수준의 설명을 제공한다. 코드와 모델은 논문 게재(acceptance) 후 공개할 예정이다.
원문 초록
AI-generated image detectors generalize poorly when their training and test images originate from different generators or datasets. Despite the rich spatial representations produced by vision foundation models like DINO, existing detectors typically classify images using only the globally aggregated CLS token. We hypothesize that globally aggregating DINO features into a single CLS token obscures spatially distributed generation traces. To test this hypothesis, we introduce PatchHead, a lightweight spatial aggregation head that preserves the two-dimensional organization of DINO patch tokens and integrates evidence across neighboring regions. During training, we freeze the pretrained DINO backbone and optimize only the inserted LoRA adapters, PatchHead, and auxiliary projection head. Across nine cross-dataset benchmarks spanning manually curated and in-the-wild settings, PatchHead ranks first on seven datasets and second on the remaining two. It improves the strongest prior method from 91.6% to 94.6% in average balanced accuracy (+3.0 points) and raises the worst-case accuracy from 82.4% to 89.4% (+6.9 points), while introducing only 8.6% more trainable parameters and 0.08% additional FLOPs. Further qualitative analysis suggests that PatchHead (i) reduces class-conditional domain discrepancy, and (ii) redirects the representation from content-dominated saliency toward spatially distributed authenticity evidence. Together, these observations provide a representation-level account of why spatial patch aggregation transfers more reliably across generators and datasets than a single CLS-based global representation. Our code and models will be made available upon acceptance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.09223v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.