arXiv:2602.04899v3 cs.CR

팬텀 트랜스퍼: 데이터 포이즈닝은 데이터 수준 방어를 뚫고 생존할 수 있다

Phantom Transfer: Data Poisoning can Survive Data-Level Defences

Andrew Draganov, Tolga H. Dur, Anandmayi Bhongade, Mary Phuong

제출 2026-02-03

저자 비고

arXiv Comments

Camera-ready version accepted at NeurIPS 2026; expanded experiments and model audits

한국어 초록

우리는 데이터 포이즈닝(data poisoning) 공격인 Phantom Transfer를 제시한다. 이 공격은 그렇지 않으면 안전한(benign) 데이터셋에 독성 데이터가 어떻게 삽입되었는지를 정확히 알고 있어도 이를 걸러낼 수 없다는 특성을 가진다. 우리는 서브리미널 학습(subliminal learning)을 실제 환경에서 동작하도록 수정하여 이를 달성하였으며, 이 공격이 데이터를 생성한 모델이 무엇이든, 데이터로 학습되는 모델이 무엇이든, 공격 대상이 무엇이든 관계없이 작동함을 보인다. 더 나아가, 이 공격은 테스트된 11가지 데이터 수준 방어를 모두 통과하며, 그중에는 모든 샘플을 다른 모델이 의역(paraphrase)하는 방어도 포함된다. 우리는 이 공격이 가장 효과적으로 작동하는 조건을 규명하고, 방어를 여전히 무력화하면서 모델에 비밀번호로 트리거되는 행동을 심는 데 사용될 수 있음을 보인다. 우리는 향후 방어 체계가 화이트박스(white-box) 기법과 사후 학습(post-training) 모델 감사(audit)로 보완되어야 한다고 제안한다.

원문 초록

We present a data poisoning attack -- Phantom Transfer -- with the property that, even if you know precisely how the poison was placed into an otherwise benign dataset, you cannot filter it out. We achieve this by modifying subliminal learning to work in real-world contexts and demonstrate that the attack works regardless of which model produced the data, which model is trained on the data or what the attack target is. Furthermore, the attack survives 11 tested data-level defences, including one where every sample is paraphrased by another model. We characterise when this attack works best and show that it can be used to plant password-triggered behaviours into models while still beating defences. We suggest that future defences should be supplemented with white-box methods and post-training model audits.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.04899v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10657v1cs.LG공통 태그 Adversarial Attack, Backdoor Attack, subliminal learning

올빼미를 넘어서: 잠재의식적 학습은 학습된 능력과 백도어를 전이할 수 있다

Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors

잠재의식적 학습(subliminal learning, SL)에서는 교사 모델(teacher model)이 해당 특성과 의미적으로 무관한 데이터에 대한 지식 증류(distillation)를 통해 학생 모델(student model)로 특성을 전달한다. 지금까지 SL은 동물(예: 올빼미)에 대한 선호도나 악의적인 페르소나와 같이 제한된 범위의 특성에 대해서만 입증되었다. 이러한 특성들은 단순한 프롬프트(prompt)나 조향(steering)을 통해서도 유도될 수 있다. 그렇다면 SL은 더 복잡한 특성을 포함하여 더 넓은 범위의 특성도 전이할 수 있을까? 만약 그렇다면, 지식 증류는 감지되지 않은 채 미묘한 형태의 정렬 불일치(misalignment)(예: 보상 추구, 음모 꾸미기, 비밀스런 충성도)를 전이할 수 있을 것이다. 이를 위해, 본 연구에서는 SL이 무작위로 초기화된 MLP의 출력을 예측하는 새로운 능력을 전이할 수 있는지 테스트한다. 무관한 텍스트로 증류한 후, 학생 모델은 교사 모델에는 미치지 못하지만 해당 작업에서 상당한 성능을 달성한다. 우리는 직접 최적화된 조향 벡터(steering vector)가 분포 내(in-distribution)에서는 SL과 일치하지만, 분포 외(out-of-distribution)에서는 일반화 성능이 더 떨어진다는 점을 발견했다. 다음으로, SL이 백도어(backdoor)를 전이할 수 있는지 테스트한다. 프롬프트에 여성 이름이 포함되어 있을 때 프랑스어로 답변하도록 교사 모델을 파인튜닝한 다음, 이름도 프랑스어도 포함되지 않은 숫자 시퀀스로 지식 증류를 수행한다. 학생 모델은 백도어를 부분적으로 획득하여, 남성 이름이 포함된 프롬프트의 0.0%와 비교해 여성 이름이 포함된 프롬프트의 23.5%에서 프랑스어로 응답했다. 마지막으로, SL이 에이전트 기반 체스 환경(environment)에서 해킹 성향을 전이할 수 있는지 테스트한다. 조향된 해커 교사 모델의 숫자 시퀀스를 바탕으로 학생 모델을 파인튜닝했다. 학생 모델은 파인튜닝되지 않은 모델의 10.9%와 비교해 58.3%의 에피소드에서 해킹을 수행했다. 따라서 본 연구는 SL이 능력, 백도어, 해킹 성향을 전이할 수 있음을 보여준다. 전이 정도는 설정에 민감하다. 여러 실험에서 로짓(logit) 증류를 사용하거나 LoRA를 어텐션(attention) 레이어로 제한함으로써 전이가 더욱 강화되었다.

arXiv:2609.36117v2cs.LG공통 태그 Adversarial Attack, Data Poisoning, Backdoor Attack

신경망에 백도어를 심는 것은 왜 이토록 쉬운가?

Why Backdooring Neural Networks is so Easy?

현대 AI 시스템을 백도어 공격(backdoor attack)으로부터 보호하는 것은 여전히 미해결 과제로 남아 있으며, 성공적이면서도 은밀한 공격을 설계하는 데 필요한 공격자 자원(adversary's budget), 즉 오염 비율 $π$와 트리거 강도(trigger strength) $α$에 대한 근본적이고 원리적인 추정이 필요합니다. 깨끗한 데이터셋이 커지더라도 대규모 언어 모델(LLM)을 오염시키는 데 거의 일정한 수의 악성 샘플만이 필요할 수 있다는 최근 실증적 증거에 착안하여, 본 연구는 오염된 가우시안 혼합(Gaussian mixture)에서 학습된 2차 뉴런(quadratic neuron)에 대한 정확한 닫힌 형태 분석(closed-form analysis)을 도출합니다. 연구 결과, 직관에 반할 수도 있지만 신경망을 강력하게 만드는 바로 그 특징 학습(feature learning) 역학이 역설적으로 신경망을 백도어에 더 취약하게 만들 수 있음을 보여줍니다. 구체적으로, 깨끗한 데이터에 대한 정확도가 1차 근사 $O(π)$로 보존되는 상황에서 레이지 러닝(lazy learning)은 성공적인 공격을 위해 역제곱근 스케일링인 $α\propto π^{-1/2}$을 요구하는 반면, 특징 학습은 손실 마진(loss margin)이 $O(α^4)$로 스케일링되는 2차 탐지기(quadratic detector)를 유도하여 공격 자원을 $α\propto π^{-1/4}$로 개선함을 입증합니다. 결과적으로 비선형 특징 학습은 작은 오염 비율에서 요구되는 트리거 강도를 대폭 낮추며, 이는 어떤 면에서 특징 학습 모델을 백도어에 더 취약하게 만듭니다. 이러한 결과는 대규모 실증적 관찰과 일치하는 이론적 메커니즘을 제공하며, 선형 휴리스틱에 기반한 보안 감사가 널리 채택된 특징 학습 체계에서 백도어 취약성을 체계적으로 과소평가할 수 있음을 보여줍니다.

arXiv:2606.29112v1cs.LG공통 태그 Adversarial Attack, Data Poisoning, Backdoor Attack

새로운 잠재 클래스 공격 및 클래스 부분공간 직교화를 통한 탐지

A Novel Latent-Class Attack and its Detection by Class Subspace Orthogonalization

일반적으로 대량의 학습 데이터에 의존하는 심층 학습(deep learning)은 오류 범용 공격(error-generic attack) 및 백도어(Trojan)를 포함한 데이터 포이즈닝(data poisoning) 공격에 취약하다. 본 연구에서는 잠재 클래스 공격(latent class attack)이라 명명한 새로운 데이터 포이즈닝 공격을 제안한다. 이 공격에서 모든 포이즈닝 예시는 주어진 분류 도메인에서 새로운(미지의) 클래스에 속하며, 도메인의 알려진 클래스(타깃 클래스) 중 하나로 잘못 레이블링된다. 이를 통해 모델이 새로운 클래스를 타깃 클래스의 하위 클래스로 인식하도록 학습된다. 이러한 공격은 예를 들어 AI 기반 접근 제어 시스템을 무력화하거나 "적"을 "아군"으로 분류하게 만드는 데 활용될 수 있다. 또한 학습 데이터셋에 대한 접근 없이 이 공격을 탐지하는 사후 학습(post-training) 방어 기법을 제안한다. 이 탐지 방식은 기존 백도어 탐지기를 개선하는 플러그앤플레이(plug-and-play) 패러다임으로 입증된 "클래스 부분공간 직교화(class subspace orthogonalization, CSO)"를 기반으로 한다. 여기서 CSO는 내부 표현이 알려진 어떤 클래스와도 정렬되지 않으면서도 이러한 클래스 중 하나로 높은 확신도로 분류되는 입력(추정된 미지 클래스 인스턴스)을 탐색하는 데 활용된다. 마지막으로, 이미지 분류(image classification) 도메인에 특화하여 추정된 미지 클래스 인스턴스를 시각화하는 방법을 제안함으로써 잠재 클래스 탐지에 대한 설명 가능성을 제공한다.

arXiv:2610.02432v2cs.CR공통 태그 Adversarial Attack, Backdoor Attack

입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선

Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations

프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.

arXiv:2607.24893v2cs.CR공통 태그 Adversarial Attack, Backdoor Attack

다중 에이전트 LLM 시스템에서의 분산 백도어 조기 탐지: 특성 분석 연구

Early Detection of Distributed Backdoors in Multi-Agent LLM Systems: A Characterization Study

다중 에이전트 대규모 언어 모델(LLM) 시스템은 단일 에이전트가 결코 전체를 보유하지 않는 페이로드로 공격받을 수 있습니다. 즉, 여러 오염된 도구가 각각 하나의 암호화된 조각을 숨겨 여러 에이전트에 걸쳐 분산시키고, 외부 단계에서 실행 종료 후 이를 재조합하여 실행합니다. 각 행동을 개별적으로 판단하는 단계별 안전성(safety) 검사는 완전한 분산 페이로드를 인식하지 못할 수 있습니다. 본 연구에서는 실행이 진행되는 동안 이러한 공격을 얼마나 조기에 탐지할 수 있는지, 그리고 가장 명백한 단서가 제거되었을 때 얼마나 견고하게 포착할 수 있는지를 조사합니다. 계층적 다중 에이전트 시스템에 작동 인스턴스를 구축하고, 5개의 언어 모델과 2개의 도구 환경 전반에서 정상 및 공격 조건 하에 실행하여 각 조각이 주입되는 시점과 페이로드가 조립 및 실행되는 시점을 기록합니다. 첫 번째 조각이 주입되기 전에는 거의 어떤 실행도 플래그되지 않으며, 주입이 시작되면 접두 문맥(prefix) 탐지기가 주입되지 않은 실행에서 약 $1\%$의 폴드 외부 오경보율(조각을 보유했으나 조립되지 않은 실행에서는 더 높음)과 중앙값 12단계가 남은 시점에서 성공적인 공격의 $99.5\%$에 플래그를 지정합니다. 조립은 실행 후에만 발생하므로, 이러한 경보는 거의 모든 성공적인 공격에서 조립 전에 중단을 가능하게 할 수 있습니다. 또한 이전 단계가 필요한지 확인하기 위해 현재 관찰 결과만 보는 탐지기를 테스트합니다. 현재 관찰 결과에 명백한 단서가 있을 때는 단 하나의 관찰로도 충분한 경우가 많지만, 해당 단서가 제거되면 이전 단계를 사용하는 것이 도움이 될 수 있습니다. 일반적인 제로샷(zero-shot) 및 행동 훈련된 탐지기는 안전하지 않은 실행과 안전한 실행을 구분하지 못하며, 작동하는 탐지기는 부분적으로 제거 가능한 표면 단서, 주로 암호문의 길이와 엔트로피에 의존합니다. 이러한 단서를 제거하면 탐지기가 더 늦게 작동하고, 한 도구 환경에서 다른 도구 환경으로 이전하는 것이 훨씬 더 어려워집니다. 원시 텍스트로 파인튜닝(fine-tuning)된 모델은 손실(loss)의 일부를 복구합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.