arXiv:2609.36117v2 cs.LG

신경망에 백도어를 심는 것은 왜 이토록 쉬운가?

Why Backdooring Neural Networks is so Easy?

Issam Seddik, Mohamed El Amine Seddik

제출 2026-09-28

한국어 초록

현대 AI 시스템을 백도어 공격(backdoor attack)으로부터 보호하는 것은 여전히 미해결 과제로 남아 있으며, 성공적이면서도 은밀한 공격을 설계하는 데 필요한 공격자 자원(adversary's budget), 즉 오염 비율 $π$와 트리거 강도(trigger strength) $α$에 대한 근본적이고 원리적인 추정이 필요합니다. 깨끗한 데이터셋이 커지더라도 대규모 언어 모델(LLM)을 오염시키는 데 거의 일정한 수의 악성 샘플만이 필요할 수 있다는 최근 실증적 증거에 착안하여, 본 연구는 오염된 가우시안 혼합(Gaussian mixture)에서 학습된 2차 뉴런(quadratic neuron)에 대한 정확한 닫힌 형태 분석(closed-form analysis)을 도출합니다. 연구 결과, 직관에 반할 수도 있지만 신경망을 강력하게 만드는 바로 그 특징 학습(feature learning) 역학이 역설적으로 신경망을 백도어에 더 취약하게 만들 수 있음을 보여줍니다. 구체적으로, 깨끗한 데이터에 대한 정확도가 1차 근사 $O(π)$로 보존되는 상황에서 레이지 러닝(lazy learning)은 성공적인 공격을 위해 역제곱근 스케일링인 $α\propto π^{-1/2}$을 요구하는 반면, 특징 학습은 손실 마진(loss margin)이 $O(α^4)$로 스케일링되는 2차 탐지기(quadratic detector)를 유도하여 공격 자원을 $α\propto π^{-1/4}$로 개선함을 입증합니다. 결과적으로 비선형 특징 학습은 작은 오염 비율에서 요구되는 트리거 강도를 대폭 낮추며, 이는 어떤 면에서 특징 학습 모델을 백도어에 더 취약하게 만듭니다. 이러한 결과는 대규모 실증적 관찰과 일치하는 이론적 메커니즘을 제공하며, 선형 휴리스틱에 기반한 보안 감사가 널리 채택된 특징 학습 체계에서 백도어 취약성을 체계적으로 과소평가할 수 있음을 보여줍니다.

원문 초록

Securing modern AI systems against backdoor attacks remains an open challenge and requires fundamentally principled estimates of the adversary's budget -- the poison fraction $π$ and trigger strength $α$ needed to construct successful yet stealthy attacks. Motivated by recent empirical evidence that poisoning large language models can require a nearly constant number of malicious samples even as clean datasets grow, we derive an exact closed-form analysis of a quadratic neuron trained on a poisoned Gaussian mixture. We show, perhaps counterintuitively, that the same feature-learning dynamics that make neural networks powerful can also make them more vulnerable to backdoors. Specifically, with clean accuracy preserved to first order, $O(π)$, we demonstrate that lazy learning imposes the inverse-square-root scaling $α\propto π^{-1/2}$ for a successful attack, while feature learning induces a quadratic detector whose loss margin scales as $O(α^4)$, improving the attack budget to $α\propto π^{-1/4}$. Consequently, nonlinear feature learning substantially reduces the trigger strength required at small poison fractions, thereby in a sense making feature learners more backdoor vulnerable. These results provide a theoretical mechanism consistent with large-scale empirical observations and demonstrate that security audits based on linear heuristics can systematically underestimate backdoor vulnerability in the widely adopted feature-learning regimes.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.36117v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02432v2cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, Backdoor Attack

입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선

Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations

프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.

arXiv:2607.24893v2cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, Backdoor Attack

다중 에이전트 LLM 시스템에서의 분산 백도어 조기 탐지: 특성 분석 연구

Early Detection of Distributed Backdoors in Multi-Agent LLM Systems: A Characterization Study

다중 에이전트 대규모 언어 모델(LLM) 시스템은 단일 에이전트가 결코 전체를 보유하지 않는 페이로드로 공격받을 수 있습니다. 즉, 여러 오염된 도구가 각각 하나의 암호화된 조각을 숨겨 여러 에이전트에 걸쳐 분산시키고, 외부 단계에서 실행 종료 후 이를 재조합하여 실행합니다. 각 행동을 개별적으로 판단하는 단계별 안전성(safety) 검사는 완전한 분산 페이로드를 인식하지 못할 수 있습니다. 본 연구에서는 실행이 진행되는 동안 이러한 공격을 얼마나 조기에 탐지할 수 있는지, 그리고 가장 명백한 단서가 제거되었을 때 얼마나 견고하게 포착할 수 있는지를 조사합니다. 계층적 다중 에이전트 시스템에 작동 인스턴스를 구축하고, 5개의 언어 모델과 2개의 도구 환경 전반에서 정상 및 공격 조건 하에 실행하여 각 조각이 주입되는 시점과 페이로드가 조립 및 실행되는 시점을 기록합니다. 첫 번째 조각이 주입되기 전에는 거의 어떤 실행도 플래그되지 않으며, 주입이 시작되면 접두 문맥(prefix) 탐지기가 주입되지 않은 실행에서 약 $1\%$의 폴드 외부 오경보율(조각을 보유했으나 조립되지 않은 실행에서는 더 높음)과 중앙값 12단계가 남은 시점에서 성공적인 공격의 $99.5\%$에 플래그를 지정합니다. 조립은 실행 후에만 발생하므로, 이러한 경보는 거의 모든 성공적인 공격에서 조립 전에 중단을 가능하게 할 수 있습니다. 또한 이전 단계가 필요한지 확인하기 위해 현재 관찰 결과만 보는 탐지기를 테스트합니다. 현재 관찰 결과에 명백한 단서가 있을 때는 단 하나의 관찰로도 충분한 경우가 많지만, 해당 단서가 제거되면 이전 단계를 사용하는 것이 도움이 될 수 있습니다. 일반적인 제로샷(zero-shot) 및 행동 훈련된 탐지기는 안전하지 않은 실행과 안전한 실행을 구분하지 못하며, 작동하는 탐지기는 부분적으로 제거 가능한 표면 단서, 주로 암호문의 길이와 엔트로피에 의존합니다. 이러한 단서를 제거하면 탐지기가 더 늦게 작동하고, 한 도구 환경에서 다른 도구 환경으로 이전하는 것이 훨씬 더 어려워집니다. 원시 텍스트로 파인튜닝(fine-tuning)된 모델은 손실(loss)의 일부를 복구합니다.

arXiv:2607.09532v1cs.LG공통 태그 Adversarial Attack, Adversarial Robustness, Backdoor Attack

깊은 신경망에서 통계적으로 탐지 불가능한 백도어

Statistically Undetectable Backdoors in Deep Neural Networks

우리는 적대적 모델 트레이너가 깊은 피드포워드 신경망의 광범위한 클래스에 백도어를 심을 수 있는 방법을 제시한다. 이러한 백도어는 화이트박스 설정에서 통계적으로 탐지 불가능한데, 이는 백도어가 삽입된 모델과 정직하게 학습된 모델이 모델의 전체 설명(예: 모든 가중치)이 주어진 경우에도 전체 변동 거리(total variation distance) 측면에서 가깝다는 것을 의미한다. 해당 백도어는 모든 입력에 대해 불변성 기반 적대적 예제(invariance-based adversarial examples)에 대한 접근을 제공하며, 서로 멀리 떨어진 입력을 비정상적으로 가까운 출력으로 매핑한다. 그러나 백도어 없이는 표준 암호학적 가정 하에서 다항 시간 내에 그러한 적대적 예제를 생성하는 것이 증명 가능하게 불가능하다. 우리의 이론적 및 예비 실증적 결과는 모델 트레이너와 모델 사용자 간의 근본적인 권력 비대칭성을 보여준다.

arXiv:2607.05516v1cs.CV공통 태그 Adversarial Attack, Adversarial Robustness, Backdoor Attack

통계적 적대자: 비전 데이터셋의 자연 발생적 백도어 유사 특징

Statistical Adversaries: Natural Backdoor-like Features in Vision Datasets

모델별 적대적 공격(adversarial attack)은 광범위하게 연구되어 왔다. 본 연구는 다른 실패 방식을 다룬다: 비전 데이터에서 자연 발생적으로 나타나는 통계적 신호가 악의적으로 삽입되지 않았음에도 백도어 유사 트리거처럼 작동할 수 있다는 것이다. 우리는 이러한 신호를 통계적 적대자(statistical adversaries)라 부른다. ImageNet을 분석하여 특정 레이블과 강하게 연결된 패턴을 탐색하고, 통계적 제어(statistical controls)를 사용하여 후보 신호에서 무작위 상관관계를 제거한다. 마지막으로, 이러한 신호가 모델 예측을 직접적이고 예측 가능한 방식으로 변경함을 실증한다. 이러한 통계적 적대자는 일반적인 손상(corruption)보다 더 표적화되어 있으며, 서로 다른 모델 아키텍처에 걸쳐 전이된다. 이는 일부 취약점이 단일 모델의 특이성이 아닌 데이터셋 구조와 분포에 의해 유발됨을 시사한다. 우리는 일반적인 데이터셋이 포이즈닝(poisoning) 없이도 악용 가능한 적대적 표면(adversarial surface)을 포함할 수 있다고 결론짓고, 데이터셋 감사(dataset audit)가 허위 구조를 바이어스나 해석 가능성(interpretability) 실패의 원인만이 아니라 비전 모델에 대한 잠재적 공격 표면으로도 다루어야 한다고 제안한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.