최신 텍스트-이미지(T2I) 모델은 임의의 사용자 프롬프트로부터 고품질 이미지를 생성하지만, 그만큼 쉽게 부적절한(NSFW) 콘텐츠를 생성할 수도 있습니다. 기존의 외부 가드레일은 생성 전에 위험을 검사하는 프롬프트 분류기와 완전히 생성된 이미지를 검사하는 사후 이미지 분류기라는 두 가지 구성 요소로 이루어져 있습니다. 이러한 설계에서는 두 분류기 모두 생성 파이프라인 외부에서 작동하며 모델 자체의 표현(representation)을 사용하지 않습니다. 이러한 분리는 프롬프트 필터링 정확도를 제한할 수 있는 반면, 이미지 측 검사는 전체 생성 비용이 소모된 후에만 실행됩니다. 또한 위험 요소가 표시된 프롬프트는 안전한 이미지를 생성하도록 조정될 수 있는 경우에도 거부 처리만 가능합니다. 본 연구에서는 베이스 모델의 파라미터를 건드리지 않고 모델 자체의 표현을 활용하여 파이프라인 내부에서 작동하는 안전 프레임워크인 내부 가드레일(InGuard)을 제안합니다. 첫째, 위험 분류기는 외부 언어 모델 없이 텍스트 인코더의 임베딩을 기반으로 각 프롬프트를 안전하지 않음(unsafe), 위험함(risky), 무해함(benign)으로 등급을 매깁니다. 둘째, SAGE(Soft-gated Asymmetric Guardrail for Embeddings)는 위험한 프롬프트의 임베딩을 수정하여 거부 대신 안전한 이미지를 반환하는 것을 목표로 합니다. 셋째, 잠재 검출기(latent detector)는 노이즈 제거(denoising) 중간 단계에서 1단계 정제 잠재 추정치(one-step clean latent estimate)를 검사하여 이미지 수준에 가까운 성능을 달성하고 위험이 감지되면 생성을 중단합니다. 또한 실제 조건에서 T2I 안전성을 평가하기 위해 RevGen 안전성 벤치마크를 구축합니다. 이는 실제 이미지 역생성을 통해 구축된 10,000개의 프롬프트로 구성되며, 제어된 지식재산(IP) 캐릭터를 제공하는 재작성 단계를 포함하여 등급화된 음란물/유혈 위험, 범주형 IP 위험 및 무해한 부정을 포괄합니다. 5개의 오픈 가중치 T2I 모델 전반에서 InGuard는 97.9-98.8%의 안전율에 도달하여 외부 가드레일과 일치하거나 이를 능가하는 동시에, 무해한 프롬프트에 대한 방해를 57.5-73.5% 줄이고 파라미터 수를 약 3.7배 적게 사용하며 노이즈 제거 단계의 50-55.6%를 건너뜁니다.
최첨단 플로우 기반 텍스트-이미지(T2I) 모델은 뛰어난 생성 능력을 보이지만, 안전하지 않은 콘텐츠를 생성할 취약점이 여전히 남아 있다. 기존 안전성 연구는 개념 삭제(concept erasure), 프롬프트 필터링, 분류기 기반 게이팅(gating)에 이르기까지 다양하다. 그러나 모델의 매개변수 효율적 적응(parameter efficient adaptations)과 같은 단순한 기법은 이러한 안전 장치를 쉽게 우회한다. 우리는 추론 시점의 자기성찰(introspection)을 통해 모델의 어텐션 동역학을 조절함으로써 안전성을 달성하는 독특하고 원칙에 기반한 접근법을 제안하며, 이는 본질적인 견고성을 보인다. 우리 방법은 이미지 합성 전 과정에서 어텐션 활성화를 분석하고 재균형화하여, 의미적 정렬(semantic alignment)을 유지하면서 생성 결과를 안전하지 않은 개념으로부터 벗어나게 유도한다. 이러한 자기성찰적 제어는 배포된 모델의 안전성을 보장한다. 표준 및 적대적(adversarial) 안전성 벤치마크 전반에서, 우리 접근법은 정렬과 지각적 품질을 유지하거나 오히려 개선하면서도 뛰어난 안전성 점수를 달성한다. 우리 결과는 어텐션 공간 규제(attention-space regulation)가 기존 개념 삭제(concept erasing) 메커니즘보다 diffusion transformer 기반 이미지 생성을 더 안전하게 만드는 훨씬 유망한 경로를 제공함을 보여준다. 코드는 https://basim-azam.github.io/iam/ 에서 확인할 수 있다.
생성 이미지 모델은 인식 가능한 지식재산권(IP)과 강한 유사성을 띠거나 이를 복제하는 이미지를 생성할 수 있다. 본 기술 보고서에서는 생성 이미지 모델의 IP 보호 장치 존재 여부와 인식 가능한 IP가 포함된 이미지를 생성하는 경향을 검사하기 위한 벤치마크 및 자동화 평가 파이프라인을 제시한다. 테스트한 IP 범주에는 가상의 캐릭터, 유명인 초상, 상업적 로고가 포함되며, 이미지 생성 모델과 관련될 수 있는 IP의 전체 범위를 망라하지는 않는다. 자가 호스팅 오픈 웨이트 모델 3종과 비공개 모델 11종을 포함하여 널리 사용되는 텍스트-이미지 모델 14종을 평가하였다. 비공개 모델 전부에서 IP 보호 장치로 인한 생성 거부가 어느 수준에서는 관찰되었으나, 모델 간 생성 거부 빈도는 상당한 차이를 보였다. 거부율은 테스트한 IP 범주에 따라서도 크게 달랐다. 상업적 로고는 거부율이 가장 낮았으며 평균적으로 가장 높은 비율로 성공적으로 생성되었다. 비율은 다양하지만, 테스트한 모든 모델은 2026년 3월 기준으로 인식 가능한 IP가 포함된 이미지를 어렵지 않게 생성하였다.
Concept erasure methods aim to remove specific unsafe target concepts in diffusion models while preserving image generation utility. To address the vulnerability that erased concepts can be easily recovered under adversarial attacks, adversarial concept erasure methods integrate adversarial optimization into the concept erasure process. However, existing adversarial concept erasure methods face a trade-off between robustness and computational cost. We attribute this to adversarial optimization techniques that use random samples to approximate the adversarial objective function. Adversarial optimization that uses a small number of samples fails to produce adversarial embeddings that accurately capture the target concept space. To mitigate this limitation, we propose Semantic-Guided Adversarial Optimization, which uses a single sample to produce adversarial embeddings that better capture the target concept space. We also propose Semantic-Guided Concept Erasure, which automatically maps the target concept to a semantically similar surrogate. Extensive experiments on not-safe-for-work content, artistic styles, and object-related concepts demonstrate that our method, S-GRACE (Semantic-Guided Robust Adversarial Concept Erasure) achieves state-of-the-art erasure robustness and superior image generation utility, with significantly lower computational cost than existing methods. Our code is available at https://github.com/Qhong-522/S-GRACE.
적대적 입력에서 비롯된 안전성 취약점을 해소하기 위해, Alibaba Security AGI Lab은 적대적 견고성과 에이전트 역량을 핵심 목표로 삼아 지식 강화 지속 사전학습, 정책 기반 다중 과제 안전 사후학습, 안전 인식 에이전트 강화학습의 3단계 파이프라인으로 Yuvion LLM을 개발하였다. 93개 벤치마크로 구성된 YLRE 평가 프레임워크에서 Yuvion-32B는 콘텐츠 안전성 Macro F1 78.2%로 GPT-5.4(72.2%)를 능가하였으며, 8B 규모의 소형 모델도 GPT-5.4 및 Qwen3-MAX를 포함한 대부분의 최신 베이스라인을 여러 안전 과제에서 상회하였다.
자기회귀(autoregressive) 통합 멀티모달 모델의 codebook에서 유해 시각 매핑을 줄이기 위해, 모델 자체의 생성·이해 능력으로 유해·안전 이미지-텍스트 쌍을 구성해 Harmful Space를 갱신하고 harmless space에서 codebook을 적응적 파인튜닝(adaptive fine-tuning)하는 iterative self-improving codebook을 반복 적용한다. 인간 주석이나 외부 피드백 없이 I2P·CoPro 등 유해 프롬프트 데이터셋과 Janus·VILA-U 등 여러 모델에서 안전성을 단계적으로 개선하면서 표준 벤치마크 성능을 유지한다는 실험 결과를 보고한다.