FakeSpotter: A Simple yet Robust Baseline for Spotting AI-Synthesized Fake Faces
원문 초록
In recent years, generative adversarial networks (GANs) and its variants have achieved unprecedented success in image synthesis. They are widely adopted in synthesizing facial images which brings potential security concerns to humans as the fakes spread and fuel the misinformation. However, robust detectors of these AI-synthesized fake faces are still in their infancy and are not ready to fully tackle this emerging challenge. In this work, we propose a novel approach, named FakeSpotter, based on monitoring neuron behaviors to spot AI-synthesized fake faces. The studies on neuron coverage and interactions have successfully shown that they can be served as testing criteria for deep learning systems, especially under the settings of being exposed to adversarial attacks. Here, we conjecture that monitoring neuron behavior can also serve as an asset in detecting fake faces since layer-by-layer neuron activation patterns may capture more subtle features that are important for the fake detector. Experimental results on detecting four types of fake faces synthesized with the state-of-the-art GANs and evading four perturbation attacks show the effectiveness and robustness of our approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
가상현실을 위한 안구 검증
Ocular Verification for Virtual Reality
가상현실(VR) 헤드셋(예: Meta Quest, Apple Vision Pro)은 시뮬레이션 환경에서 물리 세계와 빠르고 마찰 없는 상호작용을 제공하여 매끄러운 사용자 경험을 제공한다. 이러한 헤드셋에서 사용자 인증은 홍채와 같은 생체 단서에 의존한다. 그러나 기존의 홍채 인식 프로토콜은 VR 기반 데이터의 전형적 특성인 비제약 환경 획득의 경우에는 충분하지 않을 수 있다. 본 연구에서는 세 가지 핵심 측면을 검토한다. (1) VRBiom 데이터셋에서 ISO/IEC 29794-6 홍채 품질 지표를 평가하고 그 한계를 분석하며, (2) 생성 모델을 사용하여 축 이탈 시선, 불균일 조명, 정반사와 같은 데이터 특유의 문제를 해결하고, (3) 단일 모달(홍채, 눈 주위) 인식과 다중 모달 점수 수준 융합(홍채 + 눈 주위)을 수행한다. 일부 지표(예: 마진 적절성)는 VR로 획득한 데이터에서 실패하는 반면, 이미지 보정은 주로 눈 주위 인식에 도움이 되며, 다중 모달 융합은 단일 모달 홍채 인식 성능 대비 EER을 약 11% 낮춘다는 것을 관찰하였다. 재현성을 위해 논문 채택 시 평가 스크립트를 공개할 예정이다.
ASAP: AI 생성 이미지의 이미지 패턴 식별 및 분석을 위한 시각적 분석 시스템
ASAP: Visual Analytics for Identifying and Analyzing Image Patterns in AI-generated Images
생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.
고위험 시나리오에서 AI 생성 이미지가 시각적 신뢰에 도전한다
AI-generated Images Challenge Visual Trust in High-risk Scenarios
이미지 생성의 급속한 발전은 진위가 공공 안전과 개인 명성에 영향을 줄 수 있는 환경에서 시각 콘텐츠의 증거적 가치를 약화시키고 있다. 그러나 기존 탐지 벤치마크는 오해를 불러일 수 있는 시각 콘텐츠가 상당한 위험을 수반할 수 있는 공공 및 개인 안전 맥락에서 합성 이미지를 거의 검토하지 않는다. 본 연구에서는 GPT Image 2를 사용해 생성한 12개의 공공 및 개인 안전 시나리오를 아우르는 안전 중심 벤치마크 SafeIMG를 제안한다. 일반적 이미지와 이미지 수준 라벨에 초점을 둔 벤치마크와 달리, SafeIMG는 탐지기가 합성 이미지를 인식하는지 여부뿐 아니라 그들의 판단이 인간이 식별한 이상을 반영하는지도 평가한다. 이를 위해 SafeIMG는 의심스러운 영역을 국소화하고 국소 아티팩트 및 상위 수준의 상식적·물리적 불일치를 설명하는 인간 주석을 제공한다. 우리는 특화된 합성 이미지 탐지기와 비전-언어 모델(VLM)을 평가했으며, 어느 쪽도 신뢰할 만한 탐지를 제공하지 않음을 확인했다. 가장 강력한 VLM은 생성된 이미지의 49.5%만 식별하는 반면, 최고의 특화 탐지기는 33.1%를 식별했고, 인간 평가자의 정확도는 81.7%였다. 모델 설명은 인간 주석 이상의 29.8%만 포괄하며, 주로 텍스트, 얼굴, 손의 국소 결함을 포착한다. 상식적 충돌에서는 포괄률이 15.0%로, 물리적 불일치에서는 12.0%로 떨어지며, 유포로 인한 이미지 열화 이후 탐지 성능은 더욱 악화된다. 이러한 결과는 현재 탐지기가 공공 및 개인 안전 환경 전반에서 AI 생성 이미지를 신뢰할 수 있게 평가하는 데 필요한 정확도, 설명적 정렬, 견고성을 갖추지 못함을 보여준다.
MTVDiff: 향상된 열화상-가시광 얼굴 변환을 위한 다중모달 조건부 잠재 확산
MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation
열화상-가시광 얼굴 변환은 기하학적 불연속성, 의미적 속성 불일치, 신원 저하를 포함한 근본적인 과제를 제기한다. 우리는 이러한 한계를 해결하면서 신원 특성을 보존하기 위해 깊이(depth)와 텍스트 정보를 시너지적으로 통합하는 새로운 다중모달 잠재 확산 프레임워크인 MTVDiff를 제안한다. MTVDiff 프레임워크는 세 가지 핵심 기술적 기여를 제시한다: (1) 다중 스케일 열화상-깊이 특징 추출 및 융합을 위한 Dual-Branch Cross-Attention Fusion(DBCAF) 모듈, (2) 의미론적으로 유도된 생성을 위한 Gated Text-to-Visual Feature Alignment 메커니즘, (3) 적응적 다중모달 사전(prior) 통합을 위한 Spatial Feature Transformations(SFT). MCXFace 및 SpeakingFaces 데이터셋에 대한 광범위한 실험은, 우리의 다중모달 접근법이 여러 지표에서 기존 생성적 적대 신경망(GAN) 기반 및 확산 기반 접근법을 크게 능가하며, 이미지 품질과 얼굴 검증 성능 모두에서 상당한 개선을 달성함을 보여준다. FID는 최대 48.3% 감소하고 Rank-1 정확도는 최대 8.9% 향상되었다. 우리의 연구는 다양한 조명 조건에서 작동하는 얼굴 인식 시스템을 위한 견고한 해결책을 제공하며, 효과적인 다중모달 통합을 통해 교차 스펙트럼 얼굴 이미지 변환의 최신 기술(state-of-the-art)을 발전시킨다.
실제 얼굴 없이 얼굴 인식 벤치마킹
Benchmarking Face Recognition without Real Faces
합성 얼굴 데이터셋은 실제 사진으로 학습한 모델과 대등한 수준의 정확도로 얼굴 인식 모델을 학습시킬 만큼 효과적이 되었다. 이러한 진전은 실제 생체인식 데이터를 수집할 때 따르는 윤리적·법적 부담을 회피하지만, 평가는 그 속도를 따라가지 못했다. 합성 이미지만으로 완전히 학습하는 연구조차도 성능 측정을 위해 실제 얼굴 벤치마크에 의존하며, 이로 인해 프라이버시 문제는 절반만 해결된 상태로 남는다. 우리는 얼굴 인식 평가를 위해 합성 데이터셋이 실제 벤치마크를 대체할 수 있는지 묻는다. 우리는 합성골(convolutional) 및 트랜스포머 아키텍처를 아우르는 24개의 사전학습 모델을 사용하여 12개의 합성 데이터셋을 7개의 확립된 실제 벤치마크와 대조하여 테스트한다. 우리의 평가는 생체인식 검증 지표, 유사도 점수 분포, 교차 모델 순위 일관성, 그리고 각 데이터셋의 근본적인 분포 특성을 포괄한다. 벤치마킹 충실도는 합성 후보들 간에 크게 달랐지만, 가장 강력한 두 데이터셋인 MorphFace와 Vec2Face는 실제 벤치마크의 상대적 거동을 재현하며, 실제 벤치마크들 사이에서 이미 관찰되는 자연스러운 불일치 범위 내에 해당하는 수준의 일치를 달성했다. 이러한 결과는 잘 구성된 합성 데이터셋이 얼굴 인식에 대한 신뢰할 수 있는 비교 평가를 지원할 수 있음을 보여주며, 학습과 벤치마킹 모두를 위한 완전히 합성적이고 프라이버시를 보존하는 파이프라인에 해당 분야를 더 가까이 이끈다.
The RoboCup Rescue Victim Dataset
토론
이 논문과 연결된 포럼 글이 아직 없습니다.