arXiv:2510.27285v4 cs.CV

디퓨전 모델에서의 강건한 적대적 개념 소거 재고

Rethinking Robust Adversarial Concept Erasure in Diffusion Models

Qinghong Yin, Yu Tian, Heming Yang, Xiang Chen, Xianlin Zhang, Yue Ming, Xueming Li, Yue Zhang

제출 2025-10-31

원문 초록

Concept erasure methods aim to remove specific unsafe target concepts in diffusion models while preserving image generation utility. To address the vulnerability that erased concepts can be easily recovered under adversarial attacks, adversarial concept erasure methods integrate adversarial optimization into the concept erasure process. However, existing adversarial concept erasure methods face a trade-off between robustness and computational cost. We attribute this to adversarial optimization techniques that use random samples to approximate the adversarial objective function. Adversarial optimization that uses a small number of samples fails to produce adversarial embeddings that accurately capture the target concept space. To mitigate this limitation, we propose Semantic-Guided Adversarial Optimization, which uses a single sample to produce adversarial embeddings that better capture the target concept space. We also propose Semantic-Guided Concept Erasure, which automatically maps the target concept to a semantically similar surrogate. Extensive experiments on not-safe-for-work content, artistic styles, and object-related concepts demonstrate that our method, S-GRACE (Semantic-Guided Robust Adversarial Concept Erasure) achieves state-of-the-art erasure robustness and superior image generation utility, with significantly lower computational cost than existing methods. Our code is available at https://github.com/Qhong-522/S-GRACE.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2510.27285v4제출 시각 미확인
  2. arXiv:2510.27285v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01969v1cs.CV공통 태그 Image Generation, Text-to-Image Generation, concept erasure

RASteer: 확산 모델의 개념 소거를 위한 보존 인식 활성화 스티어링

RASteer: Retain-Aware Activation Steering for Concept Erasure in Diffusion Models

개념 소거(concept erasure)는 사전학습(pre-training)된 텍스트-투-이미지 확산 모델(diffusion model)에서 다른 콘텐츠를 생성하는 능력은 보존하면서 저작권이 있는 화풍, 특정 인물/캐릭터, 안전하지 않은 콘텐츠와 같은 대상 개념을 제거하는 것을 목표로 합니다. 기존 활성화 스티어링(activation steering) 방식은 주로 대상 개념으로부터 소거 방향을 구축하고, 추론(inference) 시점에 이를 따라 모델(model) 활성화를 조정합니다. 그러나 대상 개념과 보존해야 할 개념은 종종 모델의 표현 공간에서 겹치기 때문에, 이 방향에는 보존 개념이 의존하는 공유 성분도 포함됩니다. 따라서 이 방향을 따라 직접 스티어링하면 보존 개념이 억제되어 비대상 콘텐츠의 생성이 저해될 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 학습(training)이 필요 없는 방식인 보존 인식 활성화 스티어링(RASteer)을 제안합니다. RASteer는 먼저 보존할 개념들로부터 보존 부분공간을 구축합니다. 그런 다음 보존 직교 스티어링(ROS)을 통해 소거 방향에서 이 부분공간과 정렬된 성분을 제거함으로써 스티어링이 대상 개념에 더 특화되도록 만듭니다. 공유 성분을 완전히 제거하면 소거 효과가 약화될 수 있으므로, 추가로 중첩 적응형 캘리브레이션(OAC)을 도입합니다. OAC는 각 층(layer)과 노이즈 제거 단계마다 소거 방향과 보존 부분공간 사이의 중첩도를 활용하여 각 공유 성분이 제거되는 정도를 제어함으로써, 대상 소거와 개념 보존 간의 균형을 맞춥니다. 여러 백본과 벤치마크(benchmark)에 걸쳐 안전하지 않은 콘텐츠, 인스턴스, 예술적 화풍 소거에 대해 수행한 실험 결과에 따르면, RASteer는 평가된 활성화 스티어링 및 가중치(weight) 편집 베이스라인과 대등하거나 이를 능가하는 성능을 보이며 소거와 보존 사이에서 더 우수한 균형을 달성합니다.

arXiv:2610.02010v1cs.CV공통 태그 Image Generation, Adversarial Attack, Adversarial Robustness

잠재 주파수 마스킹에 대한 생성형 이미지 워터마크의 취약점 탐색

Exploring Weaknesses of Generative Image Watermarks against Latent Frequency Masking

보이지 않는 워터마킹(invisible watermarking)은 AI 생성 이미지를 추적하는 핵심 도구가 되었으나, 적응형 제거 공격에 대한 견고성(robustness)은 여전히 미해결된 보안 과제로 남아 있습니다. 본 논문에서는 워터마크가 적용된 이미지의 잠재 표현(latent representation)에서 선택된 푸리에 계수(Fourier coefficients)를 대체하여 워터마크 흔적을 지우는 공격 방식인 잠재 주파수 마스킹(Latent Frequency Masking)을 소개합니다. 대체할 값은 효율성을 위해 가우시안 노이즈(Gaussian noise)에서 샘플링하거나, 이미지 보존성을 높이기 위해 확산 재성형(diffusion regeneration)을 통해 도출할 수 있습니다. 또한 재구성된 적대적 이미지와 마스킹된 잠재 주파수 섭동(perturbation) 사이의 변화를 연계하는 이론적 왜곡 경계(distortion bound)를 제시합니다. 제안된 공격 기법을 DiffusionDB 및 MS-COCO 프롬프트로 생성된 이미지에 대해 6가지 확산 워터마킹 방식을 대상으로 평가합니다. 잠재 주파수 마스킹은 시각적 품질을 보존하고 기존 공격 기법 대비 우수한 실행 시간을 달성하면서 여러 워터마크를 제거하거나 대폭 약화시킵니다. 이러한 결과는 잠재 주파수 조작이 실질적인 공격 표면(attack surface)임을 입증하며, 생성형 이미지 워터마킹의 견고성 평가에 이러한 공격을 포함해야 할 필요성을 강조합니다.

arXiv:2607.23492v2cs.CV공통 태그 Text-to-Image Generation, Adversarial Robustness, concept erasure

지울 것인가, 지우지 않을 것인가: 보존 인식 적응형 순위 부분공간 확장을 통한 견고한 학습 없는 개념 소거

To Erase, or Not to Erase: Robust Training-Free Concept Erasure with Preservation aware Adaptive Ranked Subspace Expansion

개념 소거 기법(CETs)은 NSFW 콘텐츠나 저작권이 있는 스타일과 같은 원치 않는 대상을 소거하면서, 무해한 개념에 대한 모델 유용성을 보존하도록 text-to-image 확산 모델을 편집한다. 현재의 CETs는 소거 견고성과 유용성 사이의 트레이드오프에 직면한다. 더 강한 편집은 대상을 더 확실하게 소거하지만 비대상 개념에 대한 유용성을 저하시키고, 그 반대도 마찬가지이다. 이는 기존 방법들이 무엇을 소거하고 무엇을 보존할지를 정의하는 방식에서 비롯된다. 많은 CETs는 수동으로 지정하거나 LLM으로 생성하거나 CLIP 이미지-텍스트 유사도로 선택한 정적 개념 뱅크(concept bank)에 의존한다. 이러한 뱅크는 프롬프트가 디노이징(denoising) 과정에서 모델을 어떻게 유도하는지 모델링하지 않아, 대상을 재도입하면서 인근의 무해한 개념을 억제하는 트리거(trigger)에 취약하게 만든다. 우리는 잠재 확산 모델(latent diffusion model)에서 견고한 개념 소거를 위한 학습 없는(training-free) 프레임워크인 보존 인식 적응형 순위 부분공간 확장(Preservation-aware Adaptive Ranked Subspace Expansion, PARSE)을 제안한다. 대상이 주어지면 PARSE는 classifier-free guidance로 확산 모델을 쿼리하여 모델 어휘(vocabulary) 내에서 대상을 유도하는 소거 개념과 인근 보존 개념을 동적으로 발견한다. 이어 교차 어텐션(cross-attention) value 공간을 보존 인식 투영(preservation-aware projection)으로 편집하여 대상 방향은 제거하고 보존 방향은 그대로 유지한다. 이 어휘 인덱싱 공간을 넘어서는 트리거에 대해서는 PARSE가 textual inversion으로 재출현(re-emergence) 트리거를 반복적으로 탐색하고, 새로운 �리거 방향이 보존 의미(retain semantics)와 충돌하지 않을 때에만 소거된 부분공간을 적응적으로 확장한다. 또한 우리는 균형 소거 유용성 점수(Balanced Erasure Utility Score, BEUS)를 도입하는데, 이는 유계 단조 변환(bounded monotone transform)과 조화 평균(harmonic mean) 집계를 통해 견고성(다중 공격 하의 ASR)과 유용성 보존(FID)을 결합한다. NSFW, 예술적 스타일, 객체 소거에 대한 실험과 다수의 CET 베이스라인에 대한 대규모 견고성-유용성 분석을 통해 PARSE가 편집 후 유용성을 희생하지 않으면서 여러 개념을 견고하게 소거함을 보여준다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2610.03498v2cs.RO공통 태그 Adversarial Attack, Adversarial Robustness

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.