When a neural network stops reporting a feature, has it forgotten the feature or merely hidden it? Shared representations complicate the answer: removing one feature's direction can also damage another feature. We study this problem in a small autoencoder that compresses and reconstructs inputs, allowing individual feature contributions to be traced directly. With the representation fixed, restoring a single bias partially recovers target detection by exposing a signal hidden behind the output's activation threshold. Tests on target-absent inputs distinguish this recovery from interventions that simply increase output. The same bias intervention becomes less effective when the representation is allowed to change. We find that training only the other outputs can weaken the target's contribution, even without a loss on its own output. A conditional theoretical analysis explains how interference with retained predictions creates this pressure. Yet more flexible predictors still detect residual target information. These findings show how recovery depends on feature geometry and on which parameters are trained, and why a silent output is insufficient evidence of forgetting.
임상 현장에서 전문가들은 종종 결정을 내리기 전에 원시 입력(raw input)을 일련의 전문가 특징(expert feature)으로 변환하는 작업부터 시작합니다. 원시 입력을 기반으로 학습된 블랙박스 모델이 전문가 뷰(expert view)로 학습된 모델보다 우수한 성능을 보일 수 있지만, 원시 모델이 전문가 뷰가 포착하는 것 이상으로 어떤 예측 신호를 활용하는지는 여전히 불분명합니다. 본 논문에서는 공유 정준 성분 제거(Shared Canonical Component Removal, SCCR)를 사용하여 이러한 격차를 정량화하는 감사 프레임워크를 제안합니다. 표준 잔차화(residualization)나 개념 소거(concept erasure)와 달리, SCCR은 학습된 원시 임베딩과 전문가 임베딩 사이에서 강하게 공유되는 방향만을 선택적으로 제거합니다. 합성 데이터, 관상동맥 질환(CAD) 감지, 항우울제 치료 중단(dropout) 예측, 그리고 SkinCon 주석을 활용한 피부 병변 분류에 대한 평가를 통해, SCCR이 전문가 뷰가 불충분한 방식을 식별하고 전문가 뷰와의 중복성을 최소화하면서 잔여 예측 신호를 복원함을 보여줍니다.
확산 모델(diffusion model)은 고품질 이미지를 생성하는 데 탁월하지만, 프롬프트가 주어지면 유해한 개념을 기억하고 재생성할 수 있습니다. 대상 개념을 언러닝(unlearn)하기 위해 미세조정(fine-tuning) 방법들이 제안되었으나, 다른 개념에 대한 생성 품질을 유지하면서 해당 개념을 완전히 지우는 데 어려움을 겪어 모델이 탈옥(jailbreak) 공격에 취약한 상태로 남게 됩니다. 기존 탈옥 방법들은 이러한 취약점을 보여주지만, 언러닝된 모델이 유해한 개념을 어떻게 유지하는지에 대한 제한적인 통찰만을 제공하여 효과적인 방어책 개발을 제한합니다. 본 연구에서는 지워진 개념의 일관되고 해석 가능하며 공격 접근이 가능한 선형 잔차(linear residual)를 토큰 임베딩 공간에서 복구할 수 있음을 보여주며, 공격과 방어 모두 이 구조로부터 도출될 수 있음을 보입니다. 우리는 사람이 해석할 수 있는 텍스트 요소들의 선형 결합으로 구성된 직교 공격 토큰 임베딩 세트를 학습하여 이 부분공간을 읽어내는 새로운 탈옥 공격인 SubAttack을 소개하며, 이를 통해 언러닝된 모델이 관련된 텍스트 구성요소를 통해 여전히 대상 개념을 유지하고 있음을 밝힙니다. 나아가 우리의 공격은 텍스트 프롬프트, 초기 노이즈, 언러닝된 모델 전반에 걸쳐 이전 공격들보다 더 강력하고 전이 가능합니다. 반대로 동일한 부분공간을 투영하여 제거(projecting out)함으로써 언러닝된 모델 내 잔차 개념을 억제하는 경량 플러그앤플레이(plug-and-play) 방어 메커니즘인 SubDefense를 도출합니다. SubDefense는 안전한 생성 품질을 더 잘 보존하면서 기존 방어 기법보다 더 강력한 견고성을 제공합니다. 여러 언러닝 방법, 개념, 공격 유형에 걸친 광범위한 실험은 우리의 접근 방식이 확산 모델 언러닝의 취약점에 대한 이해와 완화 모두를 진전시킴을 입증합니다.
텍스트-이미지 생성 모델을 위한 학습 없는(training-free) 안전장치는 여러 프롬프트에 걸쳐 광범위하게 적용되는 비안전 방향(unsafe direction)이나 전역 유해 부분공간(global toxic subspace)과 같은 재사용 가능한 안전 신호에 의존하는 경우가 많습니다. 본 논문에서는 이러한 전역적 비안전성(global-unsafety) 가정에 대한 통제된 기하학적 분석을 제공하고, 일관된 커버리지-선택도 트레이드오프(coverage-selectivity trade-off)를 밝혀냅니다. 즉, 컴팩트한 비안전 부분공간은 이질적인 비안전 의미를 포괄하지 못하는 반면, 더 넓은 집계는 안전에 인접한 양성 프롬프트를 점점 더 왜곡합니다. 이러한 발견에 착안하여, 본 연구는 획일적인 전역 제거 대신 프롬프트 국소적 반사실적 보정(prompt-local counterfactual correction)을 적용하는 학습 없는 안전장치인 CALM(Counterfactual Adaptive Local Modulation)을 제안합니다. 매칭된 비안전-양성 앵커를 활용하는 CALM은 각 프롬프트를 활성 비안전 범주로 라우팅하고, 위반하는 토큰 표현만을 안전한 방향으로 최소한으로 편집하며, 양의 방향으로 정렬된 비안전 잔차 성분을 억제합니다. 광범위한 평가를 통해, CALM은 양성 프롬프트의 효용성을 보존하면서도 비안전 콘텐츠 억제를 크게 개선함을 보이며, 국소적 반사실적 보정이 전역적 비안전 신호 제거에 비해 더 선택적인 대안을 제공함을 입증합니다.
개념 소거(concept erasure)는 콘텐츠 거버넌스 및 규정 준수를 지원하기 위해 사전학습(pre-training)된 텍스트-이미지 확산 모델에서 저작권 보호, 개인정보 민감 또는 기타 바람직하지 않은 개념을 제거합니다. 시간이 지남에 따라 소거 요청이 발생함에 따라, 모델은 이전 소거를 되돌리지 않고 새로운 대상을 제거해야 합니다. 기존 방법들은 편집 간 간섭을 제한하지 않아, 유지 세트(retain set) 외부의 잔여 섭동(residual perturbation)이 상호작용하고 누적되어 관련 없는 생성을 저하시키며 때로는 이전에 소거된 대상을 노이즈로 붕괴시키기도 합니다. 본 연구에서는 닫힌 형식 해법(closed-form solver)에 두 가지 부분공간 제약을 부과하는 비학습(training-free) 방식인 CEASE(Continual Erasure via Adaptive Subspace Editing)를 제안합니다. CEASE는 공유 대체물의 토큰 표현을 해법의 불변 행렬에 추가하고, 간섭이 감지되면 누적된 과거 업데이트에서 추출된 주요 출력 방향의 직교 여공간(orthogonal complement)에 현재 업데이트를 투영합니다. 닫힌 형식 분해를 통해 누적된 간섭이 공유 대체물의 반복적인 활성화와 연속적인 업데이트 방향 간의 중첩 때문임을 밝히고, 두 제약 조건이 이러한 각각의 원인을 억제함을 보여줍니다. 유명인, 예술적 스타일 및 인스턴스의 지속적 소거 전반에서 기존 방법들이 일반적인 생성을 저하시키거나 대상을 불충분하게 소거하는 반면, CEASE는 가장 일관된 소거-보존 트레이드오프를 달성합니다.
개념 소거(concept erasure)는 사전학습(pre-training)된 텍스트-투-이미지 확산 모델(diffusion model)에서 다른 콘텐츠를 생성하는 능력은 보존하면서 저작권이 있는 화풍, 특정 인물/캐릭터, 안전하지 않은 콘텐츠와 같은 대상 개념을 제거하는 것을 목표로 합니다. 기존 활성화 스티어링(activation steering) 방식은 주로 대상 개념으로부터 소거 방향을 구축하고, 추론(inference) 시점에 이를 따라 모델(model) 활성화를 조정합니다. 그러나 대상 개념과 보존해야 할 개념은 종종 모델의 표현 공간에서 겹치기 때문에, 이 방향에는 보존 개념이 의존하는 공유 성분도 포함됩니다. 따라서 이 방향을 따라 직접 스티어링하면 보존 개념이 억제되어 비대상 콘텐츠의 생성이 저해될 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 학습(training)이 필요 없는 방식인 보존 인식 활성화 스티어링(RASteer)을 제안합니다. RASteer는 먼저 보존할 개념들로부터 보존 부분공간을 구축합니다. 그런 다음 보존 직교 스티어링(ROS)을 통해 소거 방향에서 이 부분공간과 정렬된 성분을 제거함으로써 스티어링이 대상 개념에 더 특화되도록 만듭니다. 공유 성분을 완전히 제거하면 소거 효과가 약화될 수 있으므로, 추가로 중첩 적응형 캘리브레이션(OAC)을 도입합니다. OAC는 각 층(layer)과 노이즈 제거 단계마다 소거 방향과 보존 부분공간 사이의 중첩도를 활용하여 각 공유 성분이 제거되는 정도를 제어함으로써, 대상 소거와 개념 보존 간의 균형을 맞춥니다. 여러 백본과 벤치마크(benchmark)에 걸쳐 안전하지 않은 콘텐츠, 인스턴스, 예술적 화풍 소거에 대해 수행한 실험 결과에 따르면, RASteer는 평가된 활성화 스티어링 및 가중치(weight) 편집 베이스라인과 대등하거나 이를 능가하는 성능을 보이며 소거와 보존 사이에서 더 우수한 균형을 달성합니다.
개념 삭제(concept erasure)는 관련 없는 입력에 대한 동작을 보존하면서 목표 개념을 억제합니다. 기존의 닫힌 형식(closed-form) 방법들은 2D 이미지 확산 모델을 위해 설계되었으며 단일 생성 경로를 가정하므로, 한 번의 편집으로 기하학적 형태(geometry)와 텍스처(texture)를 동시에 다뤄야 합니다. 2D 샘플을 리프팅하는 대신 구조화된 3D 표현을 직접 합성하는 네이티브 3D 생성기는 이러한 가정을 위배합니다. 본 논문에서는 형상 및 객체 개념은 파이프라인의 구조적 단계에서 삭제되어야 하고, 재질 개념은 외형 단계에서 삭제되어야 함을 보입니다. 이에 따라 네이티브 텍스트-3D 모델에서의 삭제를 단계 인식(stage-aware) 편집 문제로 정의하고, 학습(training)이 필요 없는 닫힌 형식 프레임워크인 STAGE를 도입합니다. STAGE는 각 편집을 삭제 임베딩과 앵커 임베딩 간의 차이로 생성되는 저차원 부분공간으로 제한하며, 기존 편집기들의 노름 보존(직교) 제약을 유지 프롬프트의 변위에 대한 페널티 조건 하에 타깃 활성화를 안전한 앵커에 매핑하는 최소제곱 아핀 보정으로 완화합니다. 이 보정은 구조적 단계, 외형 단계, 또는 두 단계 모두에 적용됩니다. 우리는 편집이 도달해야 하는 단계가 개념 유형에 따라 결정됨을 확인했습니다. 표준 오픈 네이티브 3D 생성기인 TRELLIS에서 15개의 형상, 재질, 객체 개념에 대해, CLIP 기반 시맨틱 및 물리적 지표를 종합하여 목표 개념의 망각과 그 외 모든 요소의 보존 간 균형을 맞춘 종합 점수에서 STAGE는 가장 강력한 조정 기준선(baseline)의 53.2점 대비 66.7점에 도달했습니다. 코드: https://github.com/gmum/STAGE/ 프로젝트 페이지: https://gmum.github.io/STAGE/
개념 소거 기법(CETs)은 NSFW 콘텐츠나 저작권이 있는 스타일과 같은 원치 않는 대상을 소거하면서, 무해한 개념에 대한 모델 유용성을 보존하도록 text-to-image 확산 모델을 편집한다. 현재의 CETs는 소거 견고성과 유용성 사이의 트레이드오프에 직면한다. 더 강한 편집은 대상을 더 확실하게 소거하지만 비대상 개념에 대한 유용성을 저하시키고, 그 반대도 마찬가지이다. 이는 기존 방법들이 무엇을 소거하고 무엇을 보존할지를 정의하는 방식에서 비롯된다. 많은 CETs는 수동으로 지정하거나 LLM으로 생성하거나 CLIP 이미지-텍스트 유사도로 선택한 정적 개념 뱅크(concept bank)에 의존한다. 이러한 뱅크는 프롬프트가 디노이징(denoising) 과정에서 모델을 어떻게 유도하는지 모델링하지 않아, 대상을 재도입하면서 인근의 무해한 개념을 억제하는 트리거(trigger)에 취약하게 만든다. 우리는 잠재 확산 모델(latent diffusion model)에서 견고한 개념 소거를 위한 학습 없는(training-free) 프레임워크인 보존 인식 적응형 순위 부분공간 확장(Preservation-aware Adaptive Ranked Subspace Expansion, PARSE)을 제안한다. 대상이 주어지면 PARSE는 classifier-free guidance로 확산 모델을 쿼리하여 모델 어휘(vocabulary) 내에서 대상을 유도하는 소거 개념과 인근 보존 개념을 동적으로 발견한다. 이어 교차 어텐션(cross-attention) value 공간을 보존 인식 투영(preservation-aware projection)으로 편집하여 대상 방향은 제거하고 보존 방향은 그대로 유지한다. 이 어휘 인덱싱 공간을 넘어서는 트리거에 대해서는 PARSE가 textual inversion으로 재출현(re-emergence) 트리거를 반복적으로 탐색하고, 새로운 �리거 방향이 보존 의미(retain semantics)와 충돌하지 않을 때에만 소거된 부분공간을 적응적으로 확장한다. 또한 우리는 균형 소거 유용성 점수(Balanced Erasure Utility Score, BEUS)를 도입하는데, 이는 유계 단조 변환(bounded monotone transform)과 조화 평균(harmonic mean) 집계를 통해 견고성(다중 공격 하의 ASR)과 유용성 보존(FID)을 결합한다. NSFW, 예술적 스타일, 객체 소거에 대한 실험과 다수의 CET 베이스라인에 대한 대규모 견고성-유용성 분석을 통해 PARSE가 편집 후 유용성을 희생하지 않으면서 여러 개념을 견고하게 소거함을 보여준다.
언러닝(unlearning)은 확산 모델에서 유해 콘텐츠 생성을 완화하기 위한 핵심 기법으로 부상하였다. 그러나 기존 방법들은 목표 개념뿐만 아니라 함께 발생하는 양성 개념까지 제거하는 경우가 많다. Fig.1에 예시된 바와 같이, 누드를 언러닝하면 의도치 않게 사람(person) 개념이 억제되어 모델이 사람이 포함된 이미지를 생성하지 못하게 될 수 있다. 우리는 이처럼 바람직하지 않게 억제되어 반드시 보존되어야 하는 공동 발생 개념을 CARE(Co-occurring Associated REtained concepts)로 정의한다. 이어서 다양한 언러닝 태스크에 걸쳐 CARE의 보존 정도를 직접 정량화하는 범용 지표인 CARE 점수를 제안한다. 이를 토대로, 목표 개념만을 삭제하면서 CARE를 명시적으로 보호하는 프레임워크인 ReCARE(Robust erasure for CARE)를 제안한다. ReCARE는 목표 이미지로부터 추출한 양성 공동 발생 토큰의 정제된 어휘 집합인 CARE-set을 자동으로 구성하고, 안정적인 언러닝을 위해 학습 과정에서 이 어휘를 활용한다. 누드, Van Gogh 화풍, Tench 객체 등 다양한 목표 개념에 대한 광범위한 실험을 통해 ReCARE가 강건한 개념 삭제, 전반적인 유용성, 그리고 CARE 보존 간의 균형에서 전반적으로 최첨단 성능을 달성함을 입증한다.
Recent advancements in large-scale generative models have enabled the creation of high-quality images and videos, but have also raised significant safety concerns regarding the generation of unsafe content. To mitigate this, concept erasure methods have been developed to remove undesirable concepts from pre-trained models. However, existing methods remain vulnerable to adversarial attacks that can regenerate the erased content. Moreover, achieving robust erasure often degrades the model's generative quality for safe, unrelated concepts, creating a difficult trade-off between safety and performance. To address this challenge, we introduce Classifier-Guided Concept Erasure (CGCE), an efficient plug-and-play framework that provides robust concept erasure for diverse generative models without altering their original weights. CGCE uses a lightweight classifier operating on text embeddings to first detect and then refine prompts containing undesired concepts. By modifying only unsafe embeddings at inference time, our method prevents harmful content generation while preserving the model's original quality on benign prompts. Extensive experiments show that CGCE achieves state-of-the-art robustness against a wide range of red-teaming attacks. Our approach also maintains high generative utility, demonstrating a superior balance between safety and performance. We showcase the versatility of CGCE through its successful application to various modern T2I and T2V models, establishing it as a practical and effective solution for safe generative AI.
시각 생성 모델은 정제되지 않은 사전학습(pre-training) 데이터로부터 바람직하지 않은 개념을 불가피하게 흡수하므로, 안전한 배포를 위해 개념 소거가 필수적이다. 그러나 기존 소거 방법은 종종 아키텍처에 특화되어 있으며, 비대상 콘텐츠와 생성 사전지식(generative priors)을 보존하면서 대상 개념을 제거하는 데 어려움을 겪는다. 우리는 시각 생성을 위한 범용 추론(inference) 시점 개념 소거 프레임워크인 Uni-AdaVD를 제안한다. Uni-AdaVD는 멀티모달 어텐션(attention)의 값 공간을 통합 개입 공간으로 취급하고, 이질적인 텍스트 인코더 전반에 걸쳐 대상 의미를 국소화하기 위해 인코더 인지(encoder-aware) 대상 표현 구성을 도입한다. 또한 원본 모델(model) 가중치를 갱신하지 않고 대상 의미 방향을 억제하기 위해 직교 값 분해를 적응형 소거 시프트(adaptive erasing shift)와 결합한다. U-Net, DiT, 자기회귀(autoregressive) 이미지 생성기와 텍스트-비디오 모델에 대한 광범위한 실험은 비대상 사전지식을 보존하면서 단일 및 다중 개념 소거에서 강력한 성능을 보여준다. 이 결과는 Uni-AdaVD가 현대 시각 생성 모델을 위한 효율적이고 적응 가능한 안전성(safety) 메커니즘을 제공함을 시사한다. 코드는 https://github.com/QifanZhou/Uni-AdaVD 에서 제공된다.
텍스트-투-비디오(T2V) 생성기는 사실적이고 시간적으로 일관된 비디오를 합성할 수 있지만, 생성기에서 대상 개념을 통제 가능하게 제거하는 것은 여전히 어렵다. 텍스트-투-이미지 개념 삭제(concept erasure)와 달리, T2V 언러닝(unlearning)은 프레임 전반에 걸쳐 지속될 수 있는 대상 개념을 억제하면서 비대상 피사체, 동작, 장면, 시간적 구조를 보존해야 한다. 우리는 개념 수준 T2V 언러닝을 위한 학습 없이(training-free) 추론 시점(inference-time) 프레임워크인 SIRUS를 제안한다. 대상 개념의 텍스트 별칭(textual aliases)이 주어지면, SIRUS는 대상 관련 프롬프트(prompt) 증거를 국소화하고 텍스트 인코더나 디노이징 네트워크를 갱신하지 않고 샘플링 중 대상 표현을 억제한다. 또한 T2V 언러닝을 위한 비디오 지향 평가 프레임워크를 도입하여, 비디오 수준 실패 기준, 프레임 수준 잔여(residue) 통계, 쌍(pair) 보존 분석, VBench 기반 품질 진단, 배포 오버헤드 측정을 통해 대상 망각(forgetting), 비대상 보존, 비디오 품질, jailbreak 견고성, 효율성을 각각 측정한다. CogVideoX에서 안전성, 객체, 스타일 개념 다섯 가지에 대해 SIRUS는 평균 망각 성공률 70.4%, 평균 프레임 적중률 25.7%를 달성하는 반면, VideoEraser는 44.4% / 47.2%이며, 평균 VBench 품질 하락을 -0.043에서 -0.016으로 줄여 완전히 평가된 베이스라인 중 가장 강한 망각-품질 트레이드오프를 제공한다. Wan2.2에 대한 전이(transfer) 실험은 SIRUS가 현대 T2V 백본(backbone) 전반에서 일반화됨을 추가로 시사한다.
MANCE는 신경망 표현(representation)에서 특정 개념을 제거할 때, 자연 입력이 저차원 다양체(manifold)에 집중된다는 다양체 제약 가설(MCH)을 기반으로 개념 소거(concept erasure) 업데이트를 해당 다양체에 투영함으로써 다른 개념의 손상을 최소화한다. 13개 언어 모델과 CelebA-CLIP 등 119가지 설정에서 평가한 결과, MANCE++가 비선형 개념 소거에서 최첨단 성능을 달성하며 누출-외과적 정밀도(leakage-surgicality) 트레이드오프를 크게 개선함을 보였다.
Concept erasure methods aim to remove specific unsafe target concepts in diffusion models while preserving image generation utility. To address the vulnerability that erased concepts can be easily recovered under adversarial attacks, adversarial concept erasure methods integrate adversarial optimization into the concept erasure process. However, existing adversarial concept erasure methods face a trade-off between robustness and computational cost. We attribute this to adversarial optimization techniques that use random samples to approximate the adversarial objective function. Adversarial optimization that uses a small number of samples fails to produce adversarial embeddings that accurately capture the target concept space. To mitigate this limitation, we propose Semantic-Guided Adversarial Optimization, which uses a single sample to produce adversarial embeddings that better capture the target concept space. We also propose Semantic-Guided Concept Erasure, which automatically maps the target concept to a semantically similar surrogate. Extensive experiments on not-safe-for-work content, artistic styles, and object-related concepts demonstrate that our method, S-GRACE (Semantic-Guided Robust Adversarial Concept Erasure) achieves state-of-the-art erasure robustness and superior image generation utility, with significantly lower computational cost than existing methods. Our code is available at https://github.com/Qhong-522/S-GRACE.
대부분의 자연어 처리(NLP) 공정성 연구는 성별, 인종 또는 국적과 같은 보호 속성에 직접 접근할 수 있다고 가정합니다. 그러나 실제로는 모델이 간접적인 텍스트 단서에서 이를 추론할 수 있음에도 불구하고, 프라이버시 제약, 메타데이터 누락 또는 법적 제한으로 인해 이러한 정보를 사용할 수 없는 경우가 많습니다. 이는 핵심적인 질문을 제기합니다: 민감한 속성에 직접 접근하지 않고도 편향 제거가 성공할 수 있을까요? 우리는 자기 기술 텍스트를 암묵적 편향 제거 신호로 사용하여 사후(post-hoc) 개념 및 속성 소거를 수행하는 H-SAL을 제안합니다. 이 설정을 지원하기 위해, 명시적 및 암묵적 신호를 모두 포함하여 보호 레이블을 사용한 표준 편향 제거와 민감한 정보에 접근하지 않는 편향 제거 간의 비교를 가능하게 하는, 유용성 예측을 위한 다중 도메인 Stack Exchange 기반 공정성 벤치마크를 소개합니다. 인코더 및 디코더 전용 언어 모델 전반에서, 암묵적 자기 기술이 종종 명시적 레이블 기반 편향 제거와 대등하거나 이를 능가함을 발견했습니다. 우리의 결과는 표현 수준 공정성 연구의 범위를 넓히고, 현실적인 데이터 제약 하에서 편향 제거를 연구하기 위한 새로운 벤치마크를 제공합니다.