arXiv:2108.13872

Reinforcement Learning Based Sparse Black-box Adversarial Attack on Video Recognition Models

Zeyuan Wang, Chaofeng Sha, Su Yang

제출 2021-08-29

원문 초록

We explore the black-box adversarial attack on video recognition models. Attacks are only performed on selected key regions and key frames to reduce the high computation cost of searching adversarial perturbations on a video due to its high dimensionality. To select key frames, one way is to use heuristic algorithms to evaluate the importance of each frame and choose the essential ones. However, it is time inefficient on sorting and searching. In order to speed up the attack process, we propose a reinforcement learning based frame selection strategy. Specifically, the agent explores the difference between the original class and the target class of videos to make selection decisions. It receives rewards from threat models which indicate the quality of the decisions. Besides, we also use saliency detection to select key regions and only estimate the sign of gradient instead of the gradient itself in zeroth order optimization to further boost the attack process. We can use the trained model directly in the untargeted attack or with little fine-tune in the targeted attack, which saves computation time. A range of empirical results on real datasets demonstrate the effectiveness and efficiency of the proposed method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21619v1cs.CL공통 태그 reinforcement-learning, Adversarial Attack

적대적 스타일 최적화: GRPO 기반 스타일 트리거 최적화를 통한 VLM 탈옥 강화

Adversarial Style Optimization: Enhancing VLM Jailbreaks by GRPO-based Stylistic Triggers Optimization

다중모달 대규모 언어 모델(MLLM)은 인상적인 성능을 달성했지만, 안전성 정렬(alignment)은 여전히 탈옥(jailbreak) 공격에 취약하다. 기존 콘텐츠 기반 탈옥은 종종 일관성이 부족하고 빠르게 진화하는 MLLM에 대해 만족스럽지 못한 성능을 보이며, 콘텐츠 기반이 아닌 취약점을 활용하지 못한다. 이전 연구와 달리, 우리는 MLLM이 이해 능력과 안전 능력 사이에 스타일적 불일치(Stylistic Inconsistency)를 보인다는 것을 실증적으로 발견했다. MLLM은 시각적 스타일과 무관하게 콘텐츠를 견고하게 이해할 수 있지만, 방어 메커니즘은 특정 스타일적 트리거에 의해 쉽게 우회될 수 있다. 이 발견을 바탕으로 우리는 적대적 스타일 최적화(Adversarial Style Optimization, ASO)를 제안한다. ASO는 기존 시각적 탈옥을 증폭하는 플러그 앤 플레이(plug-and-play) 향상 모듈로, Group Relative Policy Optimization(GRPO) 에이전트가 구조적 계층형 보상 함수(Structurally-Tiered Reward Function)의 안내를 받아 이미지 편집 모델을 파인튜닝(fine-tuning)하여, 주어진 적대적 이미지에 최적화된 스타일 수정을 중첩한다. 이 보상 함수는 명시적 거부를 탐지하는 로짓 기반 신호와 강력한 판단 모델의 고충실도 의미 평가를 결합한다. 광범위한 실험 결과 ASO가 SOTA 공격의 공격 성공률(ASR)을 크게 향상시킴을 보여 주며, 스타일적 편향이 MLLM 레드팀 테스팅(red-teaming)을 위한 확장 가능한 벡터임을 입증한다. 코드는 https://github.com/bingjunluo/ASO 에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.