Learning on Less: Constraining Pre-trained Model Learning for Generalizable Diffusion-Generated Image Detection
원문 초록
Diffusion Models enable realistic image generation, raising the risk of misinformation and eroding public trust. Currently, detecting images generated by unseen diffusion models remains challenging due to the limited generalization capabilities of existing methods. To address this issue, we rethink the effectiveness of pre-trained models trained on large-scale, real-world images. Our findings indicate that: 1) Pre-trained models can cluster the features of real images effectively. 2) Models with pre-trained weights can approximate an optimal generalization solution at a specific training step, but it is extremely unstable. Based on these facts, we propose a simple yet effective training method called Learning on Less (LoL). LoL utilizes a random masking mechanism to constrain the model's learning of the unique patterns specific to a certain type of diffusion model, allowing it to focus on less image content. This leverages the inherent strengths of pre-trained weights while enabling a more stable approach to optimal generalization, which results in the extraction of a universal feature that differentiates various diffusion-generated images from real images. Extensive experiments on the GenImage benchmark demonstrate the remarkable generalization capability of our proposed LoL. With just 1% training data, LoL significantly outperforms the current state-of-the-art, achieving a 13.6% improvement in average ACC across images generated by eight different models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ASAP: AI 생성 이미지의 이미지 패턴 식별 및 분석을 위한 시각적 분석 시스템
ASAP: Visual Analytics for Identifying and Analyzing Image Patterns in AI-generated Images
생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.
고위험 시나리오에서 AI 생성 이미지가 시각적 신뢰에 도전한다
AI-generated Images Challenge Visual Trust in High-risk Scenarios
이미지 생성의 급속한 발전은 진위가 공공 안전과 개인 명성에 영향을 줄 수 있는 환경에서 시각 콘텐츠의 증거적 가치를 약화시키고 있다. 그러나 기존 탐지 벤치마크는 오해를 불러일 수 있는 시각 콘텐츠가 상당한 위험을 수반할 수 있는 공공 및 개인 안전 맥락에서 합성 이미지를 거의 검토하지 않는다. 본 연구에서는 GPT Image 2를 사용해 생성한 12개의 공공 및 개인 안전 시나리오를 아우르는 안전 중심 벤치마크 SafeIMG를 제안한다. 일반적 이미지와 이미지 수준 라벨에 초점을 둔 벤치마크와 달리, SafeIMG는 탐지기가 합성 이미지를 인식하는지 여부뿐 아니라 그들의 판단이 인간이 식별한 이상을 반영하는지도 평가한다. 이를 위해 SafeIMG는 의심스러운 영역을 국소화하고 국소 아티팩트 및 상위 수준의 상식적·물리적 불일치를 설명하는 인간 주석을 제공한다. 우리는 특화된 합성 이미지 탐지기와 비전-언어 모델(VLM)을 평가했으며, 어느 쪽도 신뢰할 만한 탐지를 제공하지 않음을 확인했다. 가장 강력한 VLM은 생성된 이미지의 49.5%만 식별하는 반면, 최고의 특화 탐지기는 33.1%를 식별했고, 인간 평가자의 정확도는 81.7%였다. 모델 설명은 인간 주석 이상의 29.8%만 포괄하며, 주로 텍스트, 얼굴, 손의 국소 결함을 포착한다. 상식적 충돌에서는 포괄률이 15.0%로, 물리적 불일치에서는 12.0%로 떨어지며, 유포로 인한 이미지 열화 이후 탐지 성능은 더욱 악화된다. 이러한 결과는 현재 탐지기가 공공 및 개인 안전 환경 전반에서 AI 생성 이미지를 신뢰할 수 있게 평가하는 데 필요한 정확도, 설명적 정렬, 견고성을 갖추지 못함을 보여준다.
ChartSync: 시각-논리적 연쇄 차트 편집을 위한 벤치마크
ChartSync: A Benchmark for Visuo-Logical Cascading Chart Editing
생성형 이미지 편집 모델은 데이터 수정이 기하학적 동기화를 필요로 하는 구조화된 통계 차트를 처리하는 데 어려움을 겪는다. 우리는 이 과제를 시각-논리적 연쇄 편집(Visuo-Logical Cascading Editing, VLCE)으로 공식화한다. 그러나 기존 방법들은 국소적인 텍스트 대체에 국한되며 의존성을 인식하는 연쇄 업데이트에 어려움을 보인다. 이 능력을 체계적으로 평가하기 위해, 우리는 ChartSync를 소개한다. ChartSync는 정답에 대한 결정론적 시각-논리적 결합을 보장하는 프로그래밍 방식의 렌더링 파이프라인을 통해 구성된 전문가 검증 벤치마크이다. ChartSync는 9개 차트 범주와 4가지 과제 유형에 걸친 870개의 트리플렛으로 구성되며, 연쇄적인 텍스트-기하학 동기화를 특정적으로 테스트하는 235개의 기하학적으로 결합된 VLCE 인스턴스를 포함한다. 우리는 이 인스턴스들을 객관적 시각 지표와 비전-언어 모델 판사 패러다임을 결합한 이중 계층 프레임워크를 통해 평가함으로써, 저수준 충실도와 멀티모달 이해 및 추론을 함께 측정한다. 14개의 이미지 편집 모델과 하나의 코드 매개 파이프라인을 평가한 결과, 미묘한 능력 격차가 드러났다. 대부분의 오픈소스 모델은 기하학적 동기화에서 심각한 성능 저하를 보이는 반면, 두 개의 최전선 독점 모델만이 VLCE 능력의 창발적 징후를 나타냈으며, 이들의 잔여 오류는 주로 의미론적 고립과 배경 손상을 수반한다. 우리의 상세한 오류 분석은 이러한 실패 패러다임을 분해하여 미래 멀티모달 아키텍처를 안내할 핵심 메타 능력을 식별한다. ChartSync 데이터셋과 코드는 https://github.com/kaka-yjk/ChartSyncCodebase에서 공개적으로 배포된다.
DeepStress: 딥 검색 에이전트 스트레스 테스트
DeepStress: Stress-Testing Deep Search Agents
검색 에이전트는 다단계 질의응답에서 인상적인 능력을 보이지만, 품질이 낮은 증거에 대한 견고성은 충분히 연구되지 않았다. 이러한 증거는 벤치마크 코퍼스에서 드물며, 그로 인한 실패는 재현하기 어렵다. 우리는 에이전트에 열화된 증거를 통제된 비율로 제공하는 동적 스트레스 테스트 프레임워크인 DeepStress를 제안한다. 이 프레임워크는 검색 모듈을 질의마다 문서가 동적으로 생성되는 합성 환경으로 대체하며, 문서의 신뢰성, 관련성, 사실성을 독립적으로 제어한다. 스트레스 상황에서의 행동을 규명하기 위해, 이진 정확도를 넘어 최종 답변 결과에 대한 5가지 분류와, 신중한 행동을 인정하고 계산 비용을 반영하는 두 가지 새로운 신뢰성 인지 지표인 RAS와 CoPRAS를 도입한다. HotpotQA와 BrowseComp-Plus의 질문으로 12개 시스템을 평가한 결과, 여러 오픈 웨이트 에이전트가 출처에 명백한 신뢰성 경고 신호가 있을 때도 자신 있게 답하며, 많은 HotpotQA 질문이 반환된 모든 문서가 사실과 다른 경우에도 파라미터 지식으로 답해진다는 것을 확인하였다.
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다
Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
토론
이 논문과 연결된 포럼 글이 아직 없습니다.