arXiv:2611.22650v1 cs.CV

가짜를 잡으려면 가짜를 봐야 하는가? 언어는 무엇을 볼지, 실제 이미지는 무엇을 무시할지 알려 준다

Must You See Fakes to Catch Fakes? Language Says What to Look For, Real Images What to Ignore

Tianchi Xu, Yuxuan Zhou, Yuheng Zhang, Yanan Guan, Tao Dai, Shu-Tao Xia

제출 2026-11-18

한국어 초록

생성 이미지를 탐지하려면 탐지기가 생성 이미지를 본 적이 있어야 하는가? AI 생성 이미지 탐지에는 두 가지 오랜 문제가 있다. 탐지기가 소수의 학습용 생성기에서 배운 단서는 각 생성기의 고유한 흔적을 담아 새로운 생성기로 잘 전이되지 않는다. 학습에 쓰는 실제 이미지와 생성 이미지의 형식과 내용도 서로 다르다. 탐지기가 이런 차이를 진위의 근거로 삼으면 진위와 무관한 요인에 따라 판정이 바뀌어 강건성과 일반화 성능이 모두 떨어진다. 두 문제는 모두 생성 이미지로 학습하는 데서 비롯된다. 생성 이미지로 학습하지 않는 탐지기는 두 문제를 출발점에서 대부분 피할 수 있다. 시각 파운데이션 모델은 사전학습 중에 이미 ‘AI로 생성됨’이라는 개념을 익혔으며, 텍스트로 그 개념을 직접 가리킬 수 있다. 이를 바탕으로 별도 학습이 필요 없는 탐지기 SaySee를 제안한다. Say는 진위만 다른 설명 쌍을 모아 생성 이미지에 대응하는 방향 벡터를 만들고, 이미지 임베딩을 그 방향에 투영해 점수를 매긴다. See는 실제 이미지로 형식, 이미지 유형, 내용에 따른 점수 오프셋을 보정한다. 표준 벤치마크, 실제 환경 데이터, 최신 생성기를 아우르는 평가 세트 24개에서 MoE-ViE를 사용한 SaySee의 평균 AUC는 98.2%로, 기존 최고 성능 탐지기보다 4.2%포인트 높았다. 이미지 형식과 진위의 연관성을 제거한 조건에서도 전체 비교 방법 중 가장 우수했다. 코드는 공개할 예정이다.

원문 초록

Must a detector see generated images in order to catch them? Detection of AI-generated images has long faced two problems. The cues a detector learns from the few generators in its training set carry traces specific to those generators and transfer poorly to new ones, which limits generalization. The real and generated training images also differ in format and content, so the detector takes these differences as evidence of authenticity, and its decisions change with factors that have nothing to do with authenticity, which harms robustness as well as generalization. Both problems stem from training on generated images. A detector never trained on them can largely avoid both at the source. Vision foundation models have already learned the concept of "AI-generated" during pretraining, and text can point to it directly. Building on this, we propose SaySee, a training-free detector: Say builds a generation direction from sets of paired descriptions that differ only in authenticity and scores an image by the projection of its embedding onto it, and See uses real images to correct the score offsets caused by format, image type and content. On 24 evaluation sets that span standard benchmarks, in-the-wild data and the latest generators, SaySee reaches a mean AUC of 98.2% with MoE-ViE, 4.2 points above the best existing detector. When format is decoupled from authenticity, it remains the best of all methods. Code will be released.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22650v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.