일반화 가능한 딥페이크 탐지를 위한 교차 재구성의 재조명
Revisiting Cross-Reconstruction for Generalizable Deepfake Detection
기존의 이미지 위변조 탐지기는 전이 가능한 포렌식 단서를 포착하는 능력이 제한되어 있어, 보지 못한(unseen) 조작 방식에 대한 일반화에 어려움을 겪는 경우가 많습니다. 최근 교차 재구성(cross-reconstruction) 기반 방식들은 의미론적 정보와 아티팩트의 분리(disentanglement)를 통해 일반화 성능을 향상시키고자 하지만, 일반적으로 여러 생성기에 걸친 이종 아티팩트를 정렬하고 재구성 과정에서 아티팩트 표현을 배제하므로 조작 아티팩트의 고유한 다양성과 시각적 단서를 간과할 수 있습니다. 본 연구에서는 교차 재구성을 재조명하고 강건한 이미지 위변조 탐지를 위한 아티팩트 지향 분리 프레임워크를 제안합니다. 우리는 서로 다른 생성 과정에서 발생하는 조작 아티팩트의 본질적 변이인 **아티팩트 다양성(artifact diversity)**이 바람직하지 않은 도메인 변이가 아니라 상호보완적인 포렌식 단서를 포함하고 있다고 주장합니다. 명시적인 아티팩트 정렬을 강제하는 대신, 본 프레임워크는 의미론적으로 정렬된 생성기간(cross-generator) 재구성을 통해 다양한 아티팩트 특성을 보존합니다. 나아가 재구성 과정에 아티팩트 표현을 통합하고 마스크 기반의 주파수 인지 재구성 전략을 도입하여 의미론적 간섭을 줄이면서 조작 관련 잔차를 강조합니다. 이러한 설계를 통해 모델은 다양한 아티팩트로부터 전이 가능한 포렌식 표현을 학습할 수 있습니다. 여러 벤치마크 데이터셋을 대상으로 한 광범위한 실험을 통해 교차 데이터셋 및 교차 생성기 평가 환경 모두에서 성능 향상을 입증합니다. 추가적인 분석과 절제 연구(ablation study)를 통해 아티팩트 다양성 보존과 아티팩트 인지 교차 재구성의 유효성을 검증합니다.