Two Sides of the Same Coin: Learning the Backdoor to Remove the Backdoor
원문 초록
The community has recently developed various training-time defenses to counter neural backdoors introduced through data poisoning. In light of the observation that a model learns poisonous samples responsible for the backdoor easier than benign samples, these approaches either use a fixed threshold of the training loss for splitting or iteratively learn a reference model as an oracle for identifying benign samples. In particular, the latter has proven effective for anti-backdoor learning. Our method, HARVEY, leverages a similar yet crucially different technique: learning an oracle for poisonous rather than benign samples. Learning a backdoored reference model is significantly easier than learning a reference model on benign data. Consequently, we can identify poisonous samples much more accurately than related work identifies benign samples. This crucial difference enables near-perfect backdoor removal as we demonstrate in our evaluation. HARVEY substantially outperforms related approaches across attack types, datasets, and architectures, lowering the attack success rate to the very minimum at a negligible loss in natural accuracy. The figure below shows an overview of our methods working principle.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.05748v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
신경망에 백도어를 심는 것은 왜 이토록 쉬운가?
Why Backdooring Neural Networks is so Easy?
현대 AI 시스템을 백도어 공격(backdoor attack)으로부터 보호하는 것은 여전히 미해결 과제로 남아 있으며, 성공적이면서도 은밀한 공격을 설계하는 데 필요한 공격자 자원(adversary's budget), 즉 오염 비율 $π$와 트리거 강도(trigger strength) $α$에 대한 근본적이고 원리적인 추정이 필요합니다. 깨끗한 데이터셋이 커지더라도 대규모 언어 모델(LLM)을 오염시키는 데 거의 일정한 수의 악성 샘플만이 필요할 수 있다는 최근 실증적 증거에 착안하여, 본 연구는 오염된 가우시안 혼합(Gaussian mixture)에서 학습된 2차 뉴런(quadratic neuron)에 대한 정확한 닫힌 형태 분석(closed-form analysis)을 도출합니다. 연구 결과, 직관에 반할 수도 있지만 신경망을 강력하게 만드는 바로 그 특징 학습(feature learning) 역학이 역설적으로 신경망을 백도어에 더 취약하게 만들 수 있음을 보여줍니다. 구체적으로, 깨끗한 데이터에 대한 정확도가 1차 근사 $O(π)$로 보존되는 상황에서 레이지 러닝(lazy learning)은 성공적인 공격을 위해 역제곱근 스케일링인 $α\propto π^{-1/2}$을 요구하는 반면, 특징 학습은 손실 마진(loss margin)이 $O(α^4)$로 스케일링되는 2차 탐지기(quadratic detector)를 유도하여 공격 자원을 $α\propto π^{-1/4}$로 개선함을 입증합니다. 결과적으로 비선형 특징 학습은 작은 오염 비율에서 요구되는 트리거 강도를 대폭 낮추며, 이는 어떤 면에서 특징 학습 모델을 백도어에 더 취약하게 만듭니다. 이러한 결과는 대규모 실증적 관찰과 일치하는 이론적 메커니즘을 제공하며, 선형 휴리스틱에 기반한 보안 감사가 널리 채택된 특징 학습 체계에서 백도어 취약성을 체계적으로 과소평가할 수 있음을 보여줍니다.
ODPure: 앙상블 손상 합의를 통한 객체 검출용 백도어 정제
ODPure: Backdoor Purification for Object Detection via Ensemble Corruption Consensus
자율주행과 같은 애플리케이션의 발전과 함께 객체 검출(object detection)이 상당한 주목을 받고 있으나, 동시에 모델의 무결성을 심각하게 훼손하는 백도어 공격과 같은 치명적인 취약점도 부각되고 있다. 구체적으로 이러한 공격은 입력에 사전 정의된 트리거(trigger)가 존재할 때 객체의 범주를 변경하거나(즉, 객체 오분류), 경계 상자(bounding box)를 제거하거나(즉, 객체 소멸), 존재하지 않는 객체에 대한 경계 상자 제안(proposal)을 생성(즉, 객체 생성)하는 방식을 취한다. 이미지 분류(image classification)에 대한 백도어 방어는 잘 확립되어 있지만, 객체 검출에 대한 연구는 상대적으로 미진한 상태이다. 기존 방어 기법들은 잠재적인 백도어를 찾기 위해 출력이나 모델을 스캔하여 이러한 위협을 해결하지만, 악성 데이터나 모델 자체를 폐기해야 한다. 이러한 해결책은 객체 검출 파이프라인에서 지속적이고 정확한 인지 스트림을 제공하지 못한다. 이러한 한계를 해결하기 위해, 본 논문에서는 안정적인 인지 흐름을 보장하는 입력 정제(input purification)에 기반한 객체 검출용 새로운 입력 단계 블랙박스 방어 기법인 ODPure를 제안한다. 객체 검출기의 밀집 예측(dense prediction) 특성에 맞춰 설계된 제안하는 손상-재구성-선택(Corruption-Reconstruction-Selection, CRS) 패러다임은 다양한 손상(corruption) 포트폴리오를 통해 트리거를 무력화하여 방대한 중복 제안 풀을 생성하고, 생성형 사전 확률(generative priors)을 통해 세밀한 구조적 단서를 복원한 뒤, 최종적으로 투표를 적용하여 도출된 검출 결과에 대한 합의에 도달하는 방식으로 작동한다. 포괄적인 실험을 통해 제안 기법이 기준선(baseline) 정확도를 보존하면서 다양한 백도어 공격 및 트리거 유형에 대해 강력한 방어를 제공함을 입증한다. 코드는 https://github.com/Alex66366/ODPure 에서 확인할 수 있다.
중요 뉴런 격리 가지치기를 이용한 LLM 백도어 방어
Defense Against LLM Backdoors using Critical Neuron Isolation Pruning
대규모 언어 모델(LLM)은 숨겨진 트리거가 악성 출력을 유발하는 백도어 공격에 취약하다. 기존 방어 기법은 일반적으로 추론 시점 탐지 또는 학습 시점 완화에 해당하지만, 두 가지 핵심 한계에 직면한다. 첫째, 이들은 미세조정 기반 백도어(예: PEFT 모듈)에 초점을 맞추며, 학습 파이프라인을 우회하는 교활한 모델 편집 공격을 다루지 못한다. 둘째, 이들은 단순한 분류 설정을 대상으로 하며 개방형 LLM 생성으로 자연스럽게 확장되지 않고, LLM의 개방형 생성 특성에도 자연스럽게 확장되지 않는다. 결과적으로, 이러한 방법들은 표면적 행동 패턴에 집중하는 반면 악성 활성화의 더 깊은 표현적 원인은 간과한다. 이러한 메커니즘적 이해의 부재는 방어 기법이 경험적 휴리스틱에 의존하게 만들어, 견고성, 일반성, 실제 LLM 배포에서의 실용적 적용 가능성을 제한한다. 이 격차를 메우기 위해, 우리는 표현 분석을 활용하여 통합 파이프라인에서 백도어를 식별하고 무력화하는 DeCNIP(Defense with Critical Neuron Isolation Pruning)를 제안한다. 구체적으로, DeCNIP는 후보 토큰이 포함된 유해 프롬프트와 정상 입력 사이의 교차 엔트로피 손실을 최적화하여 트리거 유사 행동을 식별한다. 이 표현적 발견은 트리거가 모델 가중치를 탈취하는 메커니즘을 밝혀 잠재적 위협을 드러낸다. 그다음 백도어 핵심 뉴런(BCN, Backdoor Critical Neurons)을 격리하고 선택적으로 가지치기하여 악성 영향을 제거하면서 모델 유용성을 유지한다. 6개의 오픈소스 LLM과 2개의 벤치마크 데이터셋에 대한 광범위한 평가는 DeCNIP가 단 0.1%의 뉴런 개입만으로 7개의 최신 방어 기법을 능가하며 공격 성공률(ASR, Attack Success Rate)에서 95% 이상의 상대적 감소를 달성함을 보여준다. 또한 정상 벤치마크에서 모델 성능의 97%를 유지하여 그 효과, 견고성, 확장성을 입증한다.
데이터 포이즈닝 공격에 대한 지속 학습 이론
Theory of Continual Learning Against Data Poisoning Attacks
지속 학습(CL, Continual Learning)은 모델이 일련의 데이터 태스크에 대해 순차적으로 학습하는 방식으로, 대규모 언어 모델(LLM)과 이미지 인식 등 핵심 분야에서 채택이 확산되고 있으나, 학습 발산 또는 심각한 초과 위험을 유발하는 데이터 포이즈닝(data poisoning)에 여전히 매우 취약하다. 이러한 위협에도 불구하고, 공격과 방어를 이해하기 위한 원칙적인 이론적 토대가 CL 분야에서는 아직 부재한 상태이다. 본 논문에서는 최근 CL 이론의 핵심을 이루는 정규화(regularization) 기반 CL에서의 전략적 공격과 방어를 분석하는 이론적 프레임워크를 개발한다. 공격자와 방어자의 상호작용을 온라인 제로섬 게임(zero-sum game)으로 모델링함으로써, 먼저 근본적인 성능 한계를 확립한다: 정규화 기반 CL에서 공격자가 태스크의 선형 비율에 비례하여 무한한 노이즈 또는 패턴 이동을 주입함으로써 포이즈닝할 경우, 어떠한 방어도 성공할 수 없다. 이어서 방어 가능성이 있는 두 가지 시나리오를 분석한다: 비정기적 공격과 공격당 제한된 노이즈. 전자의 체계에서는 데이터 포이즈닝을 탐지하고 학습 수렴을 위해 누적 바이어스(bias)를 줄이는 태스크 간 검증 메커니즘을 제안한다. 후자의 체계에서는 포이즈닝된 특징에 대한 모델(model)의 민감도를 최소화하여 수렴(convergence) 속도를 이론적으로 가속하는 강건한 방어 기법을 도출한다. 현실적인 태스크에 대한 광범위한 실험을 통해 이론적 결과를 추가로 검증한다.
Detect, Unlearn, Restore: Defending Text Summarization Models Against Data Poisoning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.