Diffusion Attack: Leveraging Stable Diffusion for Naturalistic Image Attacking
원문 초록
In Virtual Reality (VR), adversarial attack remains a significant security threat. Most deep learning-based methods for physical and digital adversarial attacks focus on enhancing attack performance by crafting adversarial examples that contain large printable distortions that are easy for human observers to identify. However, attackers rarely impose limitations on the naturalness and comfort of the appearance of the generated attack image, resulting in a noticeable and unnatural attack. To address this challenge, we propose a framework to incorporate style transfer to craft adversarial inputs of natural styles that exhibit minimal detectability and maximum natural appearance, while maintaining superior attack capabilities.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
적대적 스타일 최적화: GRPO 기반 스타일 트리거 최적화를 통한 VLM 탈옥 강화
Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization
다중모달 대규모 언어 모델(MLLM)은 인상적인 성능을 달성했지만, 안전성 정렬(alignment)은 여전히 탈옥(jailbreak) 공격에 취약하다. 기존 콘텐츠 기반 탈옥은 종종 일관성이 부족하고 빠르게 진화하는 MLLM에 대해 만족스럽지 못한 성능을 보이며, 콘텐츠 기반이 아닌 취약점을 활용하지 못한다. 이전 연구와 달리, 우리는 MLLM이 이해 능력과 안전 능력 사이에 스타일적 불일치(Stylistic Inconsistency)를 보인다는 것을 실증적으로 발견했다. MLLM은 시각적 스타일과 무관하게 콘텐츠를 견고하게 이해할 수 있지만, 방어 메커니즘은 특정 스타일적 트리거에 의해 쉽게 우회될 수 있다. 이 발견을 바탕으로 우리는 적대적 스타일 최적화(Adversarial Style Optimization, ASO)를 제안한다. ASO는 기존 시각적 탈옥을 증폭하는 플러그 앤 플레이(plug-and-play) 향상 모듈로, Group Relative Policy Optimization(GRPO) 에이전트가 구조적 계층형 보상 함수(Structurally-Tiered Reward Function)의 안내를 받아 이미지 편집 모델을 파인튜닝(fine-tuning)하여, 주어진 적대적 이미지에 최적화된 스타일 수정을 중첩한다. 이 보상 함수는 명시적 거부를 탐지하는 로짓 기반 신호와 강력한 판단 모델의 고충실도 의미 평가를 결합한다. 광범위한 실험 결과 ASO가 SOTA 공격의 공격 성공률(ASR)을 크게 향상시킴을 보여 주며, 스타일적 편향이 MLLM 레드팀 테스팅(red-teaming)을 위한 확장 가능한 벡터임을 입증한다. 코드는 https://github.com/bingjunluo/ASO 에서 이용 가능하다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
When Watermarks Turn Adversarial: Exposing Vulnerabilities in Document Understanding
적대적 미끼: ViT의 어텐션 기반 방어를 오도하기
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
RedPhys: An Extensible Red-Teaming Platform for Physical-World Models and Agents
토론
이 논문과 연결된 포럼 글이 아직 없습니다.