arXiv:2610.02300v1 cs.AI

Keep It CALM: 텍스트-이미지 생성에서 전역적 비안전성 가정의 한계 분석

Keep It CALM: Analyzing the Limits of Global Unsafety in Text-to-Image Generation

NaHyeon Park, Minhyun Lee, Hyunjung Shim

제출 2026-10-01

저자 비고

arXiv Comments

NeurIPS 2026

한국어 초록

텍스트-이미지 생성 모델을 위한 학습 없는(training-free) 안전장치는 여러 프롬프트에 걸쳐 광범위하게 적용되는 비안전 방향(unsafe direction)이나 전역 유해 부분공간(global toxic subspace)과 같은 재사용 가능한 안전 신호에 의존하는 경우가 많습니다. 본 논문에서는 이러한 전역적 비안전성(global-unsafety) 가정에 대한 통제된 기하학적 분석을 제공하고, 일관된 커버리지-선택도 트레이드오프(coverage-selectivity trade-off)를 밝혀냅니다. 즉, 컴팩트한 비안전 부분공간은 이질적인 비안전 의미를 포괄하지 못하는 반면, 더 넓은 집계는 안전에 인접한 양성 프롬프트를 점점 더 왜곡합니다. 이러한 발견에 착안하여, 본 연구는 획일적인 전역 제거 대신 프롬프트 국소적 반사실적 보정(prompt-local counterfactual correction)을 적용하는 학습 없는 안전장치인 CALM(Counterfactual Adaptive Local Modulation)을 제안합니다. 매칭된 비안전-양성 앵커를 활용하는 CALM은 각 프롬프트를 활성 비안전 범주로 라우팅하고, 위반하는 토큰 표현만을 안전한 방향으로 최소한으로 편집하며, 양의 방향으로 정렬된 비안전 잔차 성분을 억제합니다. 광범위한 평가를 통해, CALM은 양성 프롬프트의 효용성을 보존하면서도 비안전 콘텐츠 억제를 크게 개선함을 보이며, 국소적 반사실적 보정이 전역적 비안전 신호 제거에 비해 더 선택적인 대안을 제공함을 입증합니다.

원문 초록

Training-free safeguards for text-to-image generation often rely on a reusable safety signal, such as an unsafe direction or global toxic subspace, applied broadly across prompts. We provide a controlled geometric analysis of this global-unsafety assumption and reveal a consistent coverage-selectivity trade-off: compact unsafe subspaces fail to cover heterogeneous unsafe semantics, whereas broader aggregation increasingly distorts safety-adjacent benign prompts. Motivated by this finding, we propose CALM (Counterfactual Adaptive Local Modulation), a training-free safeguard that replaces uniform global removal with prompt-local counterfactual correction. Using matched unsafe-benign anchors, CALM routes each prompt to active unsafe categories, minimally edits only violating token representations toward the safe side, and suppresses positively aligned unsafe residual components. Across broad evaluation, CALM significantly improves unsafe content suppression while preserving benign utility, demonstrating that local counterfactual correction provides a more selective alternative to global unsafe signal removal.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02300v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01969v1cs.CV공통 태그 Text-to-Image Generation, concept erasure

RASteer: 확산 모델의 개념 소거를 위한 보존 인식 활성화 스티어링

RASteer: Retain-Aware Activation Steering for Concept Erasure in Diffusion Models

개념 소거(concept erasure)는 사전학습(pre-training)된 텍스트-투-이미지 확산 모델(diffusion model)에서 다른 콘텐츠를 생성하는 능력은 보존하면서 저작권이 있는 화풍, 특정 인물/캐릭터, 안전하지 않은 콘텐츠와 같은 대상 개념을 제거하는 것을 목표로 합니다. 기존 활성화 스티어링(activation steering) 방식은 주로 대상 개념으로부터 소거 방향을 구축하고, 추론(inference) 시점에 이를 따라 모델(model) 활성화를 조정합니다. 그러나 대상 개념과 보존해야 할 개념은 종종 모델의 표현 공간에서 겹치기 때문에, 이 방향에는 보존 개념이 의존하는 공유 성분도 포함됩니다. 따라서 이 방향을 따라 직접 스티어링하면 보존 개념이 억제되어 비대상 콘텐츠의 생성이 저해될 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 학습(training)이 필요 없는 방식인 보존 인식 활성화 스티어링(RASteer)을 제안합니다. RASteer는 먼저 보존할 개념들로부터 보존 부분공간을 구축합니다. 그런 다음 보존 직교 스티어링(ROS)을 통해 소거 방향에서 이 부분공간과 정렬된 성분을 제거함으로써 스티어링이 대상 개념에 더 특화되도록 만듭니다. 공유 성분을 완전히 제거하면 소거 효과가 약화될 수 있으므로, 추가로 중첩 적응형 캘리브레이션(OAC)을 도입합니다. OAC는 각 층(layer)과 노이즈 제거 단계마다 소거 방향과 보존 부분공간 사이의 중첩도를 활용하여 각 공유 성분이 제거되는 정도를 제어함으로써, 대상 소거와 개념 보존 간의 균형을 맞춥니다. 여러 백본과 벤치마크(benchmark)에 걸쳐 안전하지 않은 콘텐츠, 인스턴스, 예술적 화풍 소거에 대해 수행한 실험 결과에 따르면, RASteer는 평가된 활성화 스티어링 및 가중치(weight) 편집 베이스라인과 대등하거나 이를 능가하는 성능을 보이며 소거와 보존 사이에서 더 우수한 균형을 달성합니다.

arXiv:2610.01989v1cs.CV공통 태그 Text-to-Image Generation, concept erasure

교차 편집 간섭 억제를 통한 확산 모델의 지속적 개념 소거

Continual Concept Erasure in Diffusion Models by Suppressing Cross-Edit Interference

개념 소거(concept erasure)는 콘텐츠 거버넌스 및 규정 준수를 지원하기 위해 사전학습(pre-training)된 텍스트-이미지 확산 모델에서 저작권 보호, 개인정보 민감 또는 기타 바람직하지 않은 개념을 제거합니다. 시간이 지남에 따라 소거 요청이 발생함에 따라, 모델은 이전 소거를 되돌리지 않고 새로운 대상을 제거해야 합니다. 기존 방법들은 편집 간 간섭을 제한하지 않아, 유지 세트(retain set) 외부의 잔여 섭동(residual perturbation)이 상호작용하고 누적되어 관련 없는 생성을 저하시키며 때로는 이전에 소거된 대상을 노이즈로 붕괴시키기도 합니다. 본 연구에서는 닫힌 형식 해법(closed-form solver)에 두 가지 부분공간 제약을 부과하는 비학습(training-free) 방식인 CEASE(Continual Erasure via Adaptive Subspace Editing)를 제안합니다. CEASE는 공유 대체물의 토큰 표현을 해법의 불변 행렬에 추가하고, 간섭이 감지되면 누적된 과거 업데이트에서 추출된 주요 출력 방향의 직교 여공간(orthogonal complement)에 현재 업데이트를 투영합니다. 닫힌 형식 분해를 통해 누적된 간섭이 공유 대체물의 반복적인 활성화와 연속적인 업데이트 방향 간의 중첩 때문임을 밝히고, 두 제약 조건이 이러한 각각의 원인을 억제함을 보여줍니다. 유명인, 예술적 스타일 및 인스턴스의 지속적 소거 전반에서 기존 방법들이 일반적인 생성을 저하시키거나 대상을 불충분하게 소거하는 반면, CEASE는 가장 일관된 소거-보존 트레이드오프를 달성합니다.

arXiv:2607.23492v2cs.CV공통 태그 Text-to-Image Generation, concept erasure

지울 것인가, 지우지 않을 것인가: 보존 인식 적응형 순위 부분공간 확장을 통한 견고한 학습 없는 개념 소거

To Erase, or Not to Erase: Robust Training-Free Concept Erasure with Preservation aware Adaptive Ranked Subspace Expansion

개념 소거 기법(CETs)은 NSFW 콘텐츠나 저작권이 있는 스타일과 같은 원치 않는 대상을 소거하면서, 무해한 개념에 대한 모델 유용성을 보존하도록 text-to-image 확산 모델을 편집한다. 현재의 CETs는 소거 견고성과 유용성 사이의 트레이드오프에 직면한다. 더 강한 편집은 대상을 더 확실하게 소거하지만 비대상 개념에 대한 유용성을 저하시키고, 그 반대도 마찬가지이다. 이는 기존 방법들이 무엇을 소거하고 무엇을 보존할지를 정의하는 방식에서 비롯된다. 많은 CETs는 수동으로 지정하거나 LLM으로 생성하거나 CLIP 이미지-텍스트 유사도로 선택한 정적 개념 뱅크(concept bank)에 의존한다. 이러한 뱅크는 프롬프트가 디노이징(denoising) 과정에서 모델을 어떻게 유도하는지 모델링하지 않아, 대상을 재도입하면서 인근의 무해한 개념을 억제하는 트리거(trigger)에 취약하게 만든다. 우리는 잠재 확산 모델(latent diffusion model)에서 견고한 개념 소거를 위한 학습 없는(training-free) 프레임워크인 보존 인식 적응형 순위 부분공간 확장(Preservation-aware Adaptive Ranked Subspace Expansion, PARSE)을 제안한다. 대상이 주어지면 PARSE는 classifier-free guidance로 확산 모델을 쿼리하여 모델 어휘(vocabulary) 내에서 대상을 유도하는 소거 개념과 인근 보존 개념을 동적으로 발견한다. 이어 교차 어텐션(cross-attention) value 공간을 보존 인식 투영(preservation-aware projection)으로 편집하여 대상 방향은 제거하고 보존 방향은 그대로 유지한다. 이 어휘 인덱싱 공간을 넘어서는 트리거에 대해서는 PARSE가 textual inversion으로 재출현(re-emergence) 트리거를 반복적으로 탐색하고, 새로운 �리거 방향이 보존 의미(retain semantics)와 충돌하지 않을 때에만 소거된 부분공간을 적응적으로 확장한다. 또한 우리는 균형 소거 유용성 점수(Balanced Erasure Utility Score, BEUS)를 도입하는데, 이는 유계 단조 변환(bounded monotone transform)과 조화 평균(harmonic mean) 집계를 통해 견고성(다중 공격 하의 ASR)과 유용성 보존(FID)을 결합한다. NSFW, 예술적 스타일, 객체 소거에 대한 실험과 다수의 CET 베이스라인에 대한 대규모 견고성-유용성 분석을 통해 PARSE가 편집 후 유용성을 희생하지 않으면서 여러 개념을 견고하게 소거함을 보여준다.

arXiv:2607.14521v1cs.CV공통 태그 Text-to-Image Generation, concept erasure

Uni-AdaVD: 직교 값 분해를 통한 시각 생성 범용 개념 소거

Uni-AdaVD: Universal Concept Erasure for Visual Generation via Orthogonal Value Decomposition

시각 생성 모델은 정제되지 않은 사전학습(pre-training) 데이터로부터 바람직하지 않은 개념을 불가피하게 흡수하므로, 안전한 배포를 위해 개념 소거가 필수적이다. 그러나 기존 소거 방법은 종종 아키텍처에 특화되어 있으며, 비대상 콘텐츠와 생성 사전지식(generative priors)을 보존하면서 대상 개념을 제거하는 데 어려움을 겪는다. 우리는 시각 생성을 위한 범용 추론(inference) 시점 개념 소거 프레임워크인 Uni-AdaVD를 제안한다. Uni-AdaVD는 멀티모달 어텐션(attention)의 값 공간을 통합 개입 공간으로 취급하고, 이질적인 텍스트 인코더 전반에 걸쳐 대상 의미를 국소화하기 위해 인코더 인지(encoder-aware) 대상 표현 구성을 도입한다. 또한 원본 모델(model) 가중치를 갱신하지 않고 대상 의미 방향을 억제하기 위해 직교 값 분해를 적응형 소거 시프트(adaptive erasing shift)와 결합한다. U-Net, DiT, 자기회귀(autoregressive) 이미지 생성기와 텍스트-비디오 모델에 대한 광범위한 실험은 비대상 사전지식을 보존하면서 단일 및 다중 개념 소거에서 강력한 성능을 보여준다. 이 결과는 Uni-AdaVD가 현대 시각 생성 모델을 위한 효율적이고 적응 가능한 안전성(safety) 메커니즘을 제공함을 시사한다. 코드는 https://github.com/QifanZhou/Uni-AdaVD 에서 제공된다.

arXiv:2607.14765v1cs.CV공통 태그 Text-to-Image Generation, counterfactual

확산 모델에서 반사실적 추론을 통한 희귀 개념 생성

Rare Concept Generation via Counterfactual Inference in Diffusion Models

희귀 개념 생성은 이례적인 속성을 가진 객체를 설명하는 텍스트 프롬프트를 조건으로 맞춤형 이미지를 합성하는 작업에 초점을 둔다. 기존 연구들은 생성된 이미지를 희귀 개념과 정렬하는 데 실패하여, 속성 렌더링 오류나 개념 구성의 불일치를 초래했다. 우리가 관찰한 바, 이러한 실패는 확산 모델의 학습 단계에 내재된 상식 바이어스에서 비롯되며, 여기서 객체는 일반적인 속성과 강하게 연관되어 희귀 개념을 생성할 때 이러한 연관을 깨기 어렵다. 이러한 과제를 해결하기 위해 본 논문은 CI-Diff라고 명명한 새로운 반사실적 추론 기반 확산 접근법을 제안한다. CI-Diff는 모델의 내재된 상식 바이어스 간섭을 차단하고 자연 직접 효과(Natural Direct Effect)를 활용해 희귀 개념의 텍스트 프롬프트가 이미지 생성에 미치는 독립적 영향을 포착하여, 이례적인 속성을 희귀 개념으로부터 분리한다. 이를 위해 분류기 없는 가이던스(classifier-free guidance) 메커니즘을 재공식화하여 비전형적 속성을 강조한다. 우리가 아는 한, 희귀 개념 생성 과제에 인과 추론(causal inference)을 도입한 최초의 연구다. RareBench 벤치마크에서의 광범위한 실험을 통해 CI-Diff가 최신 확산 모델 대비 우수함을 검증했다. 코드는 https://github.com/200204jzy/CI-Diff에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.