GIFTBench: 이미지 위조 국소화에서의 일반화 진단 및 모델 설계 안내
GIFTBench: Diagnosing Generalization in Image Forgery Localization and Informing Model Design
이미지 위조 국소화(image forgery localization, IFL)에 대한 신뢰할 수 있는 평가(evaluation)는 다양한 분포 변화 하에서 모델(model)을 평가할 것을 요구하지만, 기존 벤치마크(benchmark)들은 제한된 조작 조건만을 다루거나 교차 데이터셋 평가에서 여러 요인을 뒤얽히게 만드는 경우가 많습니다. 결과적으로 종합적인 성능만으로는 국소화 일반화(generalization)에 대한 불완전한 시각만을 제공하게 됩니다. 본 연구에서는 조작 출처, 의미론적 대상, 편집 연산, 합성 복잡도에 걸쳐 픽셀 수준 주석이 포함된 115,013개의 조작 이미지로 구성된 다축 벤치마크인 GIFTBench를 소개합니다. GIFTBench는 축별 전이 분석과 12개의 외부 데이터셋(dataset)에 대한 평가를 지원합니다. 본 벤치마크의 진단 연구는 비대칭적 교차 출처 전이, 재현율(recall) 위주의 실패, 그리고 의미론적·연산적·합성적 변화에 걸친 이종적 성능 저하를 밝혀냅니다. 진단을 넘어, GIFTBench의 규모와 다양성은 기존 IFL 데이터셋보다 실질적으로 훨씬 더 넓은 학습(training) 분포를 제공합니다. GIFTBench에서 대표적인 국소화 모델들을 학습시키면 외부 데이터셋으로의 종합적인 전이 성능이 일관되게 향상되며, 이는 본 벤치마크가 평가 도구뿐만 아니라 도메인 간 국소화를 위한 효과적인 학습 자원으로도 기능함을 보여줍니다. 이러한 진단 결과를 바탕으로, 우리는 분류(classification)에 적응된 표현과 다중 심도·다중 스케일 공간 특징, 학습된 층(layer) 융합, 선택적 조대 스케일 조건화를 결합한 탐지 및 국소화 프레임워크인 ForenScope를 추가로 개발했습니다. 실험 결과, 이미지 수준의 탐지 능력을 유지하면서도 향상된 교차 데이터셋 국소화 성능을 보였습니다. GIFTBench 데이터셋 쇼케이스 페이지는 https://giftbench-preview.doudoudouya337.chatgpt.site 에서 확인할 수 있습니다.