Exploring Adversarial Fake Images on Face Manifold
원문 초록
Images synthesized by powerful generative adversarial network (GAN) based methods have drawn moral and privacy concerns. Although image forensic models have reached great performance in detecting fake images from real ones, these models can be easily fooled with a simple adversarial attack. But, the noise adding adversarial samples are also arousing suspicion. In this paper, instead of adding adversarial noise, we optimally search adversarial points on face manifold to generate anti-forensic fake face images. We iteratively do a gradient-descent with each small step in the latent space of a generative model, e.g. Style-GAN, to find an adversarial latent vector, which is similar to norm-based adversarial attack but in latent space. Then, the generated fake images driven by the adversarial latent vectors with the help of GANs can defeat main-stream forensic models. For examples, they make the accuracy of deepfake detection models based on Xception or EfficientNet drop from over 90% to nearly 0%, meanwhile maintaining high visual quality. In addition, we find manipulating style vector $z$ or noise vectors $n$ at different levels have impacts on attack success rate. The generated adversarial images mainly have facial texture or face attributes changing.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ASAP: AI 생성 이미지의 이미지 패턴 식별 및 분석을 위한 시각적 분석 시스템
ASAP: Visual Analytics for Identifying and Analyzing Image Patterns in AI-generated Images
생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.
StyleAT: 의미론적 공격에 대한 얼굴 인식 방어
StyleAT: Defending Face Recognition Against Semantic Attacks
얼굴 인식 모델이 일상적인 인증 및 감시에 널리 쓰이면서, 최근 연구들은 이러한 모델의 한 가지 중요한 약점을 지적했다: 이 모델들은 적대적 의미론적 편집(adversarial semantic edits)에 여전히 매우 취약하다는 것이다. 즉, 입력에 대한 적대적으로 생성된 의미론적 변화(예: 약간의 노화나 자세 변화)가 오분류를 유발할 수 있다. 기존의 일부 공격은 강력하지만 계산 비용이 커서 방어(예: 적대적 학습을 통한) 개발에는 부적합하다. 이 공백을 메우기 위해, 우리는 StyleGAN의 풍부한 잠재 공간(latent space)에서 동작하여 오분류율을 극대화하는 강력한 의미론적 공격 BoundStyle을 제안한다. 특히 BoundStyle은 기존 최첨단 공격 대비 ${\sim}{\times}9.5$배 빠르면서도 높은 공격 성공률을 달성하여, 적대적 학습에 적합하다. BoundStyle을 기반으로, 저비용 공격 변형을 포함하면서도 더 강하고 보지 못한(unseen) 의미론적 공격에 대비하는 효율적인 적대적 학습 방식 StyleAT를 개발한다. 학습 과정에서 보지 못한 두 데이터셋과 일곱 개 모델에서 평가한 결과, StyleAT는 최첨단 공격에 대한 견고 정확도(robust accuracy)를 높이며 다양한 설정에서 일반적인 방어 기법을 능가한다.
ISPCloak: 딥페이크 탐지기 대항 최적화 없는 물리적 위장을 위한 ISP 무기화
ISPCloak: Weaponizing ISP for Optimization-Free Physical Camouflage against Deepfake Detectors
생성 모델의 급속한 발전은 딥페이크 탐지기의 최악의 경우(worst-case) 견고성을 평가할 필요성을 촉발했다. 본 논문에서는 현재 포렌식 패러다임의 근본적인 사각지대를 밝힌다. 기존 탐지기는 디지털 합성 아티팩트를 포착하는 데 탁월하지만, AI 생성 콘텐츠가 진정한 물리적 촬영 특성으로 위장될 때 그 효과가 급격히 저하된다. 우리는 진짜 사진이 본질적으로 광학 센서와 이미지 신호 처리(Image Signal Processing, ISP) 파이프라인이 새긴, 인지할 수 없는 흔적인 하드웨어 고유의 통계적 시그니처를 지니며, 이는 순수 데이터 기반 생성 모델에는 근본적으로 부재한다고 주장한다. 이 통찰에 기반하여, 우리는 딥페이크 탐지기의 판단을 오도하기 위해 ISP 파이프라인을 명시적으로 무기화하는 새로운 최적화 없는 적대적 공격(adversarial attack) 프레임워크인 ISPCloak을 제안한다. 계산 비용이 큰 그래디언트 교란에 의존하는 대신, 우리 방법은 먼저 가역 ISP 네트워크를 사용하여 이미지를 RAW 도메인으로 투영한다. 그다음, 현실적인 Poisson-Gaussian 센서 노이즈를 주입하고 순방향 ISP 재구성을 수행함으로써 AI 생성 이미지에 실제 카메라의 복잡한 통계적 사전(prior)을 매끄럽게 각인한다. 생성 아티팩트 억제와 적응형 마스킹과 시너지를 이루면, 이 간소화된 물리적 시뮬레이션은 적대적 예제(adversarial example)의 초고속 생성을 가능하게 한다. 광범위한 실험은 진정한 물리적 교란을 임베딩하는 것이 현재의 다양한 탐지 메커니즘을 근본적으로 교란하며, 인지할 수 없는 시각적 변화로 보편적으로 회피 가능한 적대적 예제를 산출함을 보여준다.
ARMOR++: 딥페이크 탐지기에 대한 전이 가능 공격을 위한 다중 도메인 프리미티브 집합의 에이전트 기반 오케스트레이션
ARMOR++: Agentic Orchestration of a Multi-Domain Primitive Set for Transferable Attacks on Deepfake Detectors
딥페이크 탐지기의 신뢰성은 블랙박스 적대적 전이(adversarial transfer) 하에서 자주 저하되는데, 이는 이러한 모델이 종종 취약하고 아키텍처에 의존하는 포렌식 단서에 의존하기 때문이다. 기존 전이 공격은 종종 의미론적 인식이 부족하고, 특히 섭동(perturbation)이 컨볼루션 기반 대리 모델(surrogate)에서 트랜스포머 기반 목표로 전이될 때, 엄격한 무쿼리(no-query) 제약 하에서 효과를 유지하기 어렵다. 이러한 한계를 해결하기 위해, 본 논문은 높은 전이성(transferability)을 목표로 하는 딥페이크 회피를 위한 강건한 멀티에이전트 프레임워크인 ARMOR++를 제안한다. 이 프레임워크는 Qwen2.5-VL 비전-언어 모델(VLM)을 활용해 공간적 의미론적 사전(prior)을 제공하고, Qwen3 대규모 언어 모델(LLM)이 프리미티브 선택, 적응형 하이퍼파라미터 재파라미터화(reparameterization), 엔트로피 정규화 섭동 혼합을 오케스트레이션한다. 밀집 최적화, 눈금성(saliency) 기반 방법, 공간 변환, 주파수 영역 섭동, 블록 구조 수정에 걸친 다섯 가지 상보적 프리미티브를 통합함으로써, ARMOR++는 이질적인 귀납 편향(inductive bias)을 효과적으로 타겟팅한다. AADD-2025 벤치마크에 대한 엄격한 평가에서 ARMOR++는 저품질 및 고품질 이미지 영역 모두에서 기존 에이전트 기반 및 비에이전트 기준선을 크게 능가함을 보여준다. 통계 분석은 최첨단 에이전트 기반 기준선 대비 맹표(blind-target) 공격 성공률(ASR)에서 상당한 향상을 확인했으며, 비에이전트 벤치마크 및 강건한 방어 구성 하에서도 추가적인 성능 이점이 입증되었다. 이러한 결과는 현재 딥페이크 탐지기 배포에서 상당한 잔여 신뢰성 격차가 있음을 부각하고, 잠재적 취약점을 식별하는 데 있어 에이전트 기반 오케스트레이션의 효과를 보여준다.
양자 내성 암호의 복원력 평가를 위한 양자 머신러닝 연구
Towards quantum machine learning for assessing the resilience of post-quantum cryptography
양자 컴퓨터의 잠재적 능력은 대규모 내결함(fault-tolerant) 양자 컴퓨터에 접근할 수 있는 적대자로부터 통신을 보호하기에 적합한 암호 프로토콜의 개발을 촉진했다. 그러나 현재 양자 컴퓨터는 규모와 정밀도 측면에서 제한적임에도 불구하고, 양자 내성 암호 프로토콜의 허점과 취약점을 찾는 데 여전히 유용할 수 있다. 본 연구에서는 이러한 목적을 위해 양자 머신러닝에서 사용되는 유망한 아키텍처 중 하나인 양자 생성적 적대 신경망(Quantum Generative Adversarial Networks, QGANs)의 능력을 활용하려는 시도를 제시한다. 해시 기반 디지털 서명의 확률 분포를 양자 컴퓨터 메모리에 적재하기 위해 QGAN 아키텍처를 적용한 예시를 설명한다. 결과는 근시일 내 하이브리드 양자-고전 방법이 이 목적에 필요한 능력을 갖추고 있음을 확인한다. 제시된 접근법은 양자 내성 암호 원시(primitive)를 공격하기 위해 양자 컴퓨팅을 활용하는 워크플로의 첫 단계로 사용할 수 있다.
노이즈 잔차 클러스터링을 통한 효과적인 합성 이미지 탐지
Effective Synthetic Image Detection via Noise Residual Clustering
생성형 인공지능(AI)의 빠른 발전으로 합성 이미지가 놀라울 정도로 사실적이 되면서 허위정보 및 사기와 같은 보안 위협이 증가하고 있다. 수동적이고 블라인드 방식의 이미지 인증으로 합성 이미지를 탐지하는 것이 중요하다. 기존 탐지기 대부분은 대규모 레이블 데이터셋을 사용한 지도 학습에 의존하여 높은 비용이 발생하고 알려지지 않은 생성 모델에서 성능이 저하된다. 이러한 결함을 완화하기 위해 학습이 필요 없는 탐지 방법을 제안한다. 구체적으로, 노이즈 잔차 핑거프린트를 간단하면서도 효과적인 사전학습된 Noiseprint++ 모델로 먼저 추출한다. 이후 고정된 Vision Transformer(ViT)를 통해 해당 잔차로부터 다중 스케일 특징을 추출하고 적응형 가중 융합을 적용한다. 소수의 실제 이미지 샘플만으로 비지도 K-Means의 클러스터 중심을 초기화하여 학습 없이 실제 이미지와 합성 이미지를 구별한다. 네 개의 벤치마크 데이터셋에 대한 광범위한 평가 결과, 제안 방법이 평균 정확도 82.2%를 달성하여 일반화 능력에서 최신 탐지기들을 능가하는 것으로 나타났다. 확산 방식의 합성 이미지에서 우수한 성능을 보이며, 각 모듈의 효과는 에블레이션 연구를 통해 검증되었다. 소스 코드는 https://github.com/multimediaFor/NoiseCluSID 에 공개될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.