arXiv:2409.15670

Data Poisoning-based Backdoor Attack Framework against Supervised Learning Rules of Spiking Neural Networks

Lingxin Jin, Meiyu Lin, Wei Jiang, Jinyu Zhan

제출 2024-09-24

원문 초록

Spiking Neural Networks (SNNs), the third generation neural networks, are known for their low energy consumption and high robustness. SNNs are developing rapidly and can compete with Artificial Neural Networks (ANNs) in many fields. To ensure that the widespread use of SNNs does not cause serious security incidents, much research has been conducted to explore the robustness of SNNs under adversarial sample attacks. However, many other unassessed security threats exist, such as highly stealthy backdoor attacks. Therefore, to fill the research gap in this and further explore the security vulnerabilities of SNNs, this paper explores the robustness performance of SNNs trained by supervised learning rules under backdoor attacks. Specifically, the work herein includes: i) We propose a generic backdoor attack framework that can be launched against the training process of existing supervised learning rules and covers all learnable dataset types of SNNs. ii) We analyze the robustness differences between different learning rules and between SNN and ANN, which suggests that SNN no longer has inherent robustness under backdoor attacks. iii) We reveal the vulnerability of conversion-dependent learning rules caused by backdoor migration and further analyze the migration ability during the conversion process, finding that the backdoor migration rate can even exceed 99%. iv) Finally, we discuss potential countermeasures against this kind of backdoor attack and its technical challenges and point out several promising research directions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2406.05670v3cs.LG공통 태그 Data Poisoning, Backdoor Attack공식 코드 · Papers with Code

그래디언트 기반 학습에서 데이터 중독에 대한 인증된 견고성

Certified Robustness to Data Poisoning in Gradient-Based Training

현대 기계학습 파이프라인은 대량의 공개 데이터를 활용하므로 데이터 품질을 보장하기 어렵고, 모델이 데이터 중독(data poisoning) 및 백도어(backdoor) 공격에 노출됩니다. 이러한 공격 하에서 모델 동작을 증명 가능하게 한정하는 것은 여전히 미해결 문제입니다. 본 연구에서는 모델이나 학습 알고리즘을 수정하지 않고도 잠재적으로 조작된 데이터로 학습된 모델의 동작에 대한 증명 가능한 보장을 제공하는 최초의 프레임워크를 개발하여 이 문제에 대응합니다. 특히 본 프레임워크는 학습 입력과 레이블에 대한 유계 및 무계 조작에 대해 비표적 및 표적 중독과 백도어 공격 모두에 대한 견고성을 인증합니다. 본 방법은 볼록 완화(convex relaxation)를 활용하여 주어진 중독 위협 모델에 대한 모든 가능한 매개변수 업데이트 집합을 과대 근사함으로써, 모든 그래디언트 기반 학습 알고리즘에 대해 도달 가능한 매개변수 집합 전체를 경계합니다. 이 매개변수 집합을 바탕으로 모델 성능과 백도어 성공률을 포함한 최악의 경우 동작에 대한 경계를 제공합니다. 에너지 소비, 의료 영상, 자율 주행 등의 응용 분야에서 다수의 실제 데이터셋에 대해 본 접근법을 시연합니다.

arXiv:2605.19227v3cs.CR공통 태그 Data Poisoning, Backdoor Attack

토큰 단위로 침해되다: 통합 자기회귀 모델에서의 백도어 취약점

Token by Token, Compromised: Backdoor Vulnerabilities in Unified Autoregressive Models

통합 자기회귀 모델(Unified Autoregressive Model, UAM)은 단일 자기회귀 패스 내에서 텍스트뿐만 아니라 이미지 토큰도 함께 생성하는 트랜스포머 모델입니다. 공유 매개변수와 멀티모달 어휘는 학습 파이프라인을 단순화하고 유연한 멀티모달 생성을 촉진하지만, 새로운 취약점을 야기할 수도 있습니다. 특히, 본 연구는 이러한 통합 아키텍처가 하나의 트리거로 여러 출력 모달리티에 걸쳐 악의적 영향을 전파할 수 있는 멀티모달 백도어 공격을 가능하게 함을 최초로 보입니다. 구체적으로, 데이터 기반 및 모델 기반 포이즈닝 전략을 모두 탐색하며 UAM을 표적으로 한 최초의 백도어 공격인 ToBAC(Token by Token Backdoor Attack)을 제시합니다. 눈에 띄지 않는 문자나 일상적인 단어조차도 자기회귀 이미지 생성에서 유해한 동작을 유발하는 트리거로 변환될 수 있음을 입증합니다. ToBAC은 시각적 출력과 수반되는 텍스트를 함께 조작하여 위조된 콘텐츠의 체감 진위성을 높일 수 있습니다. 모델 접근이 가능한 경우, ToBAC은 Liquid 모델을 대상으로 미묘한 단어(예: "cool")를 통해 생성의 55%에서 모달리티에 부합하는 브랜드 홍보나 이념적 영향을 유도하는 공격을 가능하게 합니다. 모델 접근이 없는 경우에도 ToBAC은 데이터 포이즈닝을 통해 유도될 수 있으며, JanusPro를 상대로 평균 63.1%의 성공률을 달성합니다. 코드는 https://github.com/multimodal-ai-lab/ToBAC 에서 확인할 수 있습니다.

arXiv:2602.04899v3cs.CR공통 태그 Data Poisoning, Backdoor Attack

팬텀 트랜스퍼: 데이터 포이즈닝은 데이터 수준 방어를 뚫고 생존할 수 있다

Phantom Transfer: Data Poisoning can Survive Data-Level Defences

우리는 데이터 포이즈닝(data poisoning) 공격인 Phantom Transfer를 제시한다. 이 공격은 그렇지 않으면 안전한(benign) 데이터셋에 독성 데이터가 어떻게 삽입되었는지를 정확히 알고 있어도 이를 걸러낼 수 없다는 특성을 가진다. 우리는 서브리미널 학습(subliminal learning)을 실제 환경에서 동작하도록 수정하여 이를 달성하였으며, 이 공격이 데이터를 생성한 모델이 무엇이든, 데이터로 학습되는 모델이 무엇이든, 공격 대상이 무엇이든 관계없이 작동함을 보인다. 더 나아가, 이 공격은 테스트된 11가지 데이터 수준 방어를 모두 통과하며, 그중에는 모든 샘플을 다른 모델이 의역(paraphrase)하는 방어도 포함된다. 우리는 이 공격이 가장 효과적으로 작동하는 조건을 규명하고, 방어를 여전히 무력화하면서 모델에 비밀번호로 트리거되는 행동을 심는 데 사용될 수 있음을 보인다. 우리는 향후 방어 체계가 화이트박스(white-box) 기법과 사후 학습(post-training) 모델 감사(audit)로 보완되어야 한다고 제안한다.

arXiv:2609.36117v2cs.LG공통 태그 Data Poisoning, Backdoor Attack

신경망에 백도어를 심는 것은 왜 이토록 쉬운가?

Why Backdooring Neural Networks is so Easy?

현대 AI 시스템을 백도어 공격(backdoor attack)으로부터 보호하는 것은 여전히 미해결 과제로 남아 있으며, 성공적이면서도 은밀한 공격을 설계하는 데 필요한 공격자 자원(adversary's budget), 즉 오염 비율 $π$와 트리거 강도(trigger strength) $α$에 대한 근본적이고 원리적인 추정이 필요합니다. 깨끗한 데이터셋이 커지더라도 대규모 언어 모델(LLM)을 오염시키는 데 거의 일정한 수의 악성 샘플만이 필요할 수 있다는 최근 실증적 증거에 착안하여, 본 연구는 오염된 가우시안 혼합(Gaussian mixture)에서 학습된 2차 뉴런(quadratic neuron)에 대한 정확한 닫힌 형태 분석(closed-form analysis)을 도출합니다. 연구 결과, 직관에 반할 수도 있지만 신경망을 강력하게 만드는 바로 그 특징 학습(feature learning) 역학이 역설적으로 신경망을 백도어에 더 취약하게 만들 수 있음을 보여줍니다. 구체적으로, 깨끗한 데이터에 대한 정확도가 1차 근사 $O(π)$로 보존되는 상황에서 레이지 러닝(lazy learning)은 성공적인 공격을 위해 역제곱근 스케일링인 $α\propto π^{-1/2}$을 요구하는 반면, 특징 학습은 손실 마진(loss margin)이 $O(α^4)$로 스케일링되는 2차 탐지기(quadratic detector)를 유도하여 공격 자원을 $α\propto π^{-1/4}$로 개선함을 입증합니다. 결과적으로 비선형 특징 학습은 작은 오염 비율에서 요구되는 트리거 강도를 대폭 낮추며, 이는 어떤 면에서 특징 학습 모델을 백도어에 더 취약하게 만듭니다. 이러한 결과는 대규모 실증적 관찰과 일치하는 이론적 메커니즘을 제공하며, 선형 휴리스틱에 기반한 보안 감사가 널리 채택된 특징 학습 체계에서 백도어 취약성을 체계적으로 과소평가할 수 있음을 보여줍니다.

arXiv:2606.29112v1cs.LG공통 태그 Data Poisoning, Backdoor Attack

새로운 잠재 클래스 공격 및 클래스 부분공간 직교화를 통한 탐지

A Novel Latent-Class Attack and its Detection by Class Subspace Orthogonalization

일반적으로 대량의 학습 데이터에 의존하는 심층 학습(deep learning)은 오류 범용 공격(error-generic attack) 및 백도어(Trojan)를 포함한 데이터 포이즈닝(data poisoning) 공격에 취약하다. 본 연구에서는 잠재 클래스 공격(latent class attack)이라 명명한 새로운 데이터 포이즈닝 공격을 제안한다. 이 공격에서 모든 포이즈닝 예시는 주어진 분류 도메인에서 새로운(미지의) 클래스에 속하며, 도메인의 알려진 클래스(타깃 클래스) 중 하나로 잘못 레이블링된다. 이를 통해 모델이 새로운 클래스를 타깃 클래스의 하위 클래스로 인식하도록 학습된다. 이러한 공격은 예를 들어 AI 기반 접근 제어 시스템을 무력화하거나 "적"을 "아군"으로 분류하게 만드는 데 활용될 수 있다. 또한 학습 데이터셋에 대한 접근 없이 이 공격을 탐지하는 사후 학습(post-training) 방어 기법을 제안한다. 이 탐지 방식은 기존 백도어 탐지기를 개선하는 플러그앤플레이(plug-and-play) 패러다임으로 입증된 "클래스 부분공간 직교화(class subspace orthogonalization, CSO)"를 기반으로 한다. 여기서 CSO는 내부 표현이 알려진 어떤 클래스와도 정렬되지 않으면서도 이러한 클래스 중 하나로 높은 확신도로 분류되는 입력(추정된 미지 클래스 인스턴스)을 탐색하는 데 활용된다. 마지막으로, 이미지 분류(image classification) 도메인에 특화하여 추정된 미지 클래스 인스턴스를 시각화하는 방법을 제안함으로써 잠재 클래스 탐지에 대한 설명 가능성을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.