arXiv:2511.18921v2 cs.CV

BackdoorVLM: 비전-언어 모델의 백도어 공격 및 방어 벤치마크

BackdoorVLM: A Benchmark for Backdoor Attacks and Defenses on Vision-Language Models

Juncheng Li, Yige Li, Hanxun Huang, Yunhao Chen, Xin Wang, Yixu Wang, Xingjun Ma, Yu-Gang Jiang

제출 2026-09-22

한국어 초록

백도어 공격은 추론 시점에 악의적으로 활성화될 수 있는 숨겨진 동작을 주입함으로써 기계학습 시스템의 신뢰성과 신뢰할 수 있음을 훼손한다. 이러한 위협은 단일 모달리티 환경에서 광범위하게 연구되어 왔지만, 특히 비전-언어 모델(VLM)을 포함한 멀티모달 기반 모델(foundation model)에 대한 영향은 대체로 충분히 탐구되지 않았다. 본 연구에서는 다양한 설정 전반에 걸쳐 VLM에서의 백도어 공격 및 방어를 평가하기 위한 최초의 종합 벤치마크인 BackdoorVLM을 제안한다. BackdoorVLM은 이미지 캡션 생성(image captioning) 및 시각 질의응답(visual question answering) 등 핵심 비전-언어 과제 전반에 백도어를 주입하고 분석하는 통합적 관점을 채택한다. BackdoorVLM은 멀티모달 백도어 위협을 5가지 대표 범주로 분류한다: 표적 거부(targeted refusal), 악성 주입(malicious injection), 탈옥(jailbreak), 개념 치환(concept substitution), 지각 하이재킹(perceptual hijack). 각 범주는 적대자가 모델의 동작을 조작할 수 있는 서로 다른 경로를 포착한다. 우리는 텍스트, 이미지, 이�odal 트리거에 걸친 12가지 대표 공격 방법을 사용하여 이러한 위협을 평가하며, 2개의 오픈소스 VLM, 3개의 멀티모달 데이터셋, 5가지 대표 방어 방법으로 시험했다. 분석 결과 VLM은 텍스트 지시에 매우 민감하며, 이�odal 백도어에서는 백도어 매핑을 형성할 때 텍스트 트리거가 일반적으로 이미지 트리거보다 우세함을 보여준다. 특히 텍스트 모달리티를 포함하는 백도어는 여전히 매우 강력하며, 독화율(poisoning rate)이 1%에 불과해도 대부분의 과제에서 90% 이상의 성공률을 얻는다. 또한 기존 방어 기법은 트리거 유형 및 백도어 시나리오에 걸친 일반화가 부족하여, 모달리티와 형태가 다양한 트리거에 대해 신뢰할 수 없는 보호만을 제공한다. 이러한 결과는 현재 VLM의 중대하고 미탐구된 취약점을 부각시킨다. BackdoorVLM이 멀티모달 백도어 위협을 분석하고 완화하는 데 유용한 벤치마크가 되기를 바란다.

원문 초록

Backdoor attacks undermine the reliability and trustworthiness of machine learning systems by injecting hidden behaviors that can be maliciously activated at inference time. While such threats have been extensively studied in unimodal settings, their impact on multimodal foundation models, particularly vision-language models (VLMs), remains largely underexplored. In this work, we introduce BackdoorVLM, the first comprehensive benchmark for evaluating backdoor attacks and defenses on VLMs across a broad range of settings. It adopts a unified perspective that injects and analyzes backdoors across core vision-language tasks, including image captioning and visual question answering. BackdoorVLM organizes multimodal backdoor threats into 5 representative categories: targeted refusal, malicious injection, jailbreak, concept substitution, and perceptual hijack. Each category captures a distinct pathway through which an adversary can manipulate a model's behavior. We evaluate these threats using 12 representative attack methods spanning text, image, and bimodal triggers, tested on 2 open-source VLMs and 3 multimodal datasets along with 5 representative defense methods. Our analysis reveals that VLMs exhibit strong sensitivity to textual instructions, and in bimodal backdoors the text trigger typically overwhelms the image trigger when forming the backdoor mapping. Notably, backdoors involving the textual modality remain highly potent, with poisoning rates as low as 1\% yielding over 90\% success across most tasks. Moreover, existing defenses lack generalization across trigger types and backdoor scenarios, leading to unreliable protection against diverse triggers across modalities and forms. These findings highlight significant, underexplored vulnerabilities in current VLMs. We hope that BackdoorVLM can serve as a useful benchmark for analyzing and mitigating multimodal backdoor threats.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2511.18921v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00663v2cs.AI공통 태그 Adversarial Attack, Adversarial Robustness, Backdoor Attack

LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제

Backdoor Containment via Expert Quarantine and Shutdown in LLMs

백도어가 삽입된 대규모 언어 모델(LLM)은 정상 입력에서는 정상적으로 동작하면서 숨겨진 트리거가 주어지면 공격자가 지정한 출력을 생성할 수 있다. 기존 방어 기법은 학습 이전, 학습 중, 학습 이후, 추론 시점의 네 단계에 걸쳐 있으며, 두 가지 기본 전략 중 하나를 공유한다. 하나는 (오염된 데이터를 걸러내거나 최적화 중 그 습득을 차단하여) 백도어 학습을 억제하는 것이고, 다른 하나는 완전히 백도어가 형성된 모델이 만들어진 뒤에 (모델 가중치를 복구하거나 입력을 게이팅하여) 학습한 다음 정화하는 것이다. 우리는 세 번째 전략으로 '학습하되 유도하라(learn, but channel)'를 제안한다. 이는 학습 중 백도어 형성을 허용하되, 이를 배포 시 비활성화할 수 있도록 지정된 격리 구성요소로 유도하는 것이다. 이를 위해 정규화로 유도되는 MoE 유사 환경에서 구축한 계산 효율적 격리 전략인 Quarantined Expert Shutdown(QES)을 제안한다. 구체적으로, 오염된 데이터셋이 주어지면 QES는 Transformer 기반 언어 모델에 라우팅되는 전문가별 LoRA 분기와 경량 라우터를 추가하고, 보조 라우팅 목표를 사용하여 트리거 조건부 동작을 지정된 전문가로 끌어들이면서 다른 곳에서는 정상 능력을 보존한다. 배포 시 완화는 격리된 전문가의 라우팅 가중치를 0으로 만드는 상수 시간의 단일 연산으로 귀결되며, 트리거 검사나 추가 가중치 업데이트가 필요하지 않다. 실험적으로 우리의 방법은 두 가지 과제, 세 가지 공격, 네 가지 모델 계열에 걸친 대부분의 설정에서 공격 성공률(ASR)을 100%에서 0-10%로 낮추며, 하위 과제 성능은 대체로 보존되거나 소폭만 영향을 받는다. 이러한 결과는 '학습하되 유도하라'가 생성형 LLM의 백도어 격리에서 이전에 탐구되지 않은 체제임을 확립한다.

arXiv:2610.02432v2cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, Backdoor Attack

입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선

Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations

프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.

arXiv:2610.10899v1cs.LG공통 태그 Benchmarking, Adversarial Attack, Adversarial Robustness

음성 품질 지표는 얼마나 해킹에 취약한가? 수정된 프로토콜, 벤치마크, 그리고 패치 적용의 실효성

How Hackable Is Your Speech Quality Metric? A Corrected Protocol, a Benchmark, and What Patching Buys

음성 품질 예측기는 보상(reward)으로 점점 더 널리 사용되고 있으나, 이들의 해킹 취약성(hackability)에 대한 합의된 측정 기준은 존재하지 않는다. 기존의 측정 방식에는 두 가지 결함이 있다. 첫째, 섭동(perturbation)은 그 자체로 점수를 변화시키는 처리 체인(여기서는 신경망 코덱)을 거쳐 예측기에 도달하는데, 원시 입력(raw input)을 기준으로 점수를 매기면 이러한 점수 변화를 공격 탓으로 돌리게 된다. 대신 섭동이 없는 왕복 처리를 참조하면 측정된 해킹 취약성이 최대 4배까지 달라진다(한 방어 기법의 경우 0.31에서 0.08로 변화). 둘째, 학습된 공격자 하나는 하나의 표본일 뿐 측정치 자체가 아니다. 무작위 시드만 다른 다섯 공격자가 하나의 고정된 예측기를 상대로 0.00에서 0.38에 이르는 성공률을 기록하므로, 방어 성능을 입증하려면 여러 공격자에 대한 최악의 경우를 평가해야 한다. 이 프로토콜 하에서 공개된 4개의 예측기는 큰 차이를 보인다. NISQA는 발화의 90%에서 해킹되었고, SSL-MOS는 21%, DNSMOS는 14%, UTMOS는 6%에서 해킹되었다. 이어 우리는 폐쇄형 공격-탐지-패치(attack-detect-patch) 루프를 점검한다. 이는 공격자들 간의 편차보다도 작은 수준으로 자체 공격 공간 내에서만 예측기를 방어할 뿐이며, 무작위 섭동 기준선(baseline)만으로도 이와 대등한 수준을 달성할 수 있고, 도메인 외(out of domain) 환경에서는 시스템 SRCC가 최대 0.30 감소하는 대가를 치른다. 패치된 예측기를 대상으로 사후학습(post-training)된 음성 향상 모델은 해당 지표를 훨씬 덜 해킹한다(PESQ -0.03 대 -0.23). 코드, 사전 등록 정보 및 실행 결과는 모두 공개된다.

arXiv:2610.02827v1cs.AI공통 태그 Benchmarking, Adversarial Attack, Adversarial Robustness

MLCommons 탈옥 벤치마크 v1.0

MLCommons Jailbreak Benchmark v1.0

현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.

arXiv:2610.03089v1cs.CR공통 태그 Benchmarking, Adversarial Attack, Adversarial Robustness

분기 유도 공격으로부터 컴퓨터 활용 에이전트 보호하기

Securing Computer-Use Agents Against Branch Steering Attacks

현대의 컴퓨터 활용 에이전트(Computer Use Agent, CUA)는 그래픽 사용자 인터페이스와 직접 상호작용하고 서드파티 웹 도구를 실행하므로, 렌더링된 모든 페이지와 도구 응답에 걸쳐 간접 프롬프트(prompt) 주입 공격에 노출됩니다. 격리된 플래너 LLM(Planner LLM, P-LLM)을 사용하여 신뢰할 수 없는 입력을 격리된 LLM(Quarantined LLM, Q-LLM)으로 처리하기 전에 실행 경로를 고정하는 Dual-LLM 패턴은 정형적 안전성(safety) 보장을 제공하는 대표적인 시스템 수준 아키텍처이지만, 이러한 보장은 그래픽 환경에서 무너집니다. CUA 상호작용은 본질적으로 동적이므로 계획이 데이터에 독립적으로 유지될 수 없으며, 에이전트(agent)가 마주할 수 있는 모든 가능한 경우를 포괄하여 런타임에 예상되는 웹 콘텐츠를 기반으로 분기해야만 합니다. 이로 인해 에이전트는 공격자가 명시적인 명령을 주입하지 않고도 신뢰할 수 없는 데이터를 조작하여 CUA를 사전에 승인된 위험한 분기로 강제 진입시키는 분기 유도(branch steering) 공격에 노출됩니다. 본 연구에서는 분기 유도 공격을 체계적으로 연구하고 STEER-Bench(9개 도메인에 걸친 101개 작업)를 도입하여, 표준 CUA(94.4%)와 기본 Dual-LLM CUA(89.5%) 모두에 대해 높은 공격 성공률을 보임을 나타냅니다. 이어서 신뢰할 수 있는 분기 계획과 사전 기능 제약을 결합하여 각 분기가 실행할 수 있는 매개변수와 대상 경로를 엄격하게 제한하는 아키텍처인 COBRA를 제안합니다. STEER-Bench에서 COBRA는 공격 성공률을 0%로 낮추는 동시에 정상적인 유용성을 97% 수준으로 유지합니다.

arXiv:2610.03445v1cs.CV공통 태그 Image Captioning, Adversarial Attack, Adversarial Robustness

오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유

Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally

표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.