원문 초록
Deep neural networks (DNNs) are widely applied in Network-based Intrusion Detection System (NIDS) due to their high accuracy. However, DNNs are highly susceptible to adversarial attacks, which generate malicious traffic to evade NIDS detection. Existing approaches often adapt adversarial attacks from computer vision (CV) tasks to the NIDS domain, overlooking the fundamental differences between CV and NIDS. This results in two major issues: 1) The generated network traffic may become invalid, 2) The generated traffic may lose its original attack semantics. To address these issues, this paper proposes an adversarial attack specifically designed for NIDS. Instead of directly generating flow-level features, our approach incrementally generates packet-level features to construct adversarial traffic. During the generation process, the semantic integrity of the traffic is monitored at each stage, effectively avoiding the issues of invalid traffic and semantic loss observed in existing methods. We evaluate our attack algorithm against current NIDS models using the CIC-UNSW-NB15, CIC-DDoS2019, and CIC-IDS-2017 datasets. The proposed method achieves an average evasion success rate of 92.78%, while ensuring that the generated adversarial traffic remains semantically consistent with the original malicious traffic.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.28439v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다중 에이전트 LLM 시스템에서의 분산 백도어 조기 탐지: 특성 분석 연구
Early Detection of Distributed Backdoors in Multi-Agent LLM Systems: A Characterization Study
다중 에이전트 대규모 언어 모델(LLM) 시스템은 단일 에이전트가 결코 전체를 보유하지 않는 페이로드로 공격받을 수 있습니다. 즉, 여러 오염된 도구가 각각 하나의 암호화된 조각을 숨겨 여러 에이전트에 걸쳐 분산시키고, 외부 단계에서 실행 종료 후 이를 재조합하여 실행합니다. 각 행동을 개별적으로 판단하는 단계별 안전성(safety) 검사는 완전한 분산 페이로드를 인식하지 못할 수 있습니다. 본 연구에서는 실행이 진행되는 동안 이러한 공격을 얼마나 조기에 탐지할 수 있는지, 그리고 가장 명백한 단서가 제거되었을 때 얼마나 견고하게 포착할 수 있는지를 조사합니다. 계층적 다중 에이전트 시스템에 작동 인스턴스를 구축하고, 5개의 언어 모델과 2개의 도구 환경 전반에서 정상 및 공격 조건 하에 실행하여 각 조각이 주입되는 시점과 페이로드가 조립 및 실행되는 시점을 기록합니다. 첫 번째 조각이 주입되기 전에는 거의 어떤 실행도 플래그되지 않으며, 주입이 시작되면 접두 문맥(prefix) 탐지기가 주입되지 않은 실행에서 약 $1\%$의 폴드 외부 오경보율(조각을 보유했으나 조립되지 않은 실행에서는 더 높음)과 중앙값 12단계가 남은 시점에서 성공적인 공격의 $99.5\%$에 플래그를 지정합니다. 조립은 실행 후에만 발생하므로, 이러한 경보는 거의 모든 성공적인 공격에서 조립 전에 중단을 가능하게 할 수 있습니다. 또한 이전 단계가 필요한지 확인하기 위해 현재 관찰 결과만 보는 탐지기를 테스트합니다. 현재 관찰 결과에 명백한 단서가 있을 때는 단 하나의 관찰로도 충분한 경우가 많지만, 해당 단서가 제거되면 이전 단계를 사용하는 것이 도움이 될 수 있습니다. 일반적인 제로샷(zero-shot) 및 행동 훈련된 탐지기는 안전하지 않은 실행과 안전한 실행을 구분하지 못하며, 작동하는 탐지기는 부분적으로 제거 가능한 표면 단서, 주로 암호문의 길이와 엔트로피에 의존합니다. 이러한 단서를 제거하면 탐지기가 더 늦게 작동하고, 한 도구 환경에서 다른 도구 환경으로 이전하는 것이 훨씬 더 어려워집니다. 원시 텍스트로 파인튜닝(fine-tuning)된 모델은 손실(loss)의 일부를 복구합니다.
동기화에서 벗어나 시야에서 사라지다: 산업용 사물인터넷(IIoT) 침입 탐지를 겨냥한 유령 상태 공격
Out of Sync, Out of Sight: Phantom State Attacks against IIoT Intrusion Detection
머신러닝 기반 침입 탐지 시스템(IDS)은 산업용 사물인터넷(IIoT) 환경의 보안을 유지하는 데 매우 중요합니다. 이에 대응하는 대부분의 적대적 공격 연구는 특징(feature) 벡터나 이를 생성하는 트래픽을 섭동(perturbation)하며, 그래디언트(gradient) 접근, 반복적인 모델 쿼리, 또는 정상 트래픽에 대해 학습된 모델에 의존합니다. 일부 연구에서는 탐지기에 쿼리하지 않고 패킷 타이밍을 재구성하기도 하지만, 악성 트래픽이 정상 타이밍의 학습된 모델을 모방하도록 만듭니다. 이러한 접근법 전반에서 산업 모니터링 파이프라인의 중요한 가정 하나가 거의 주목받지 못했는데, 바로 시간 동기화(temporal synchronization)입니다. IDS는 텔레메트리를 슬라이딩 또는 텀블링 윈도우로 집계하여 운영 상태를 재구성하므로, IDS의 관점은 무엇이 관측되었는지뿐만 아니라 각 관측치가 윈도우 경계와 비교하여 언제 발생하는지에도 의존합니다. 본 논문에서는 수동적이고 쿼리가 없는(zero-query) 위협 모델 하에서 이러한 의존성을 악용하는 유령 상태 공격(Phantom State Attack, PSA)을 소개합니다. PSA는 패킷을 수정하거나, 특징을 섭동하거나, 분류기에 쿼리하거나, 정상 트래픽 모델을 피팅하는 대신, 공격 흐름 자체의 패킷 도착 간 변동성에 맞춰 보정된 유계 타이밍 드리프트(bounded timing drift)를 주입하여 관측치를 가장 가까운 윈도우 경계 너머로 필요한 최소한의 이동량만큼 이동시킵니다. 그러면 IDS는 실제 프로세스 상태와 다른 유령 상태(phantom state)를 재구성하게 됩니다. 저자들은 ToN-IoT 및 CIC IIoT 2025(DataSense) 데이터셋에서 Random Forest, MLP, XGBoost를 대상으로 PSA를 평가하고, 탐지 성능 저하, 동기화 왜곡, 은닉성, 공격자 비용을 측정했습니다. PSA는 윈도우 경계 재배치가 가능할 만큼 충분한 패킷을 가진 플로우에서는 탐지 성능을 저하시키고 다른 플로우는 거의 변화시키지 않으므로 그 효과는 조건부입니다. 쿼리 기반 기준선(baseline)은 더 높은 원시 성공률에 도달하지만 윈도우당 많은 쿼리를 필요로 하는 반면, PSA는 쿼리를 전혀 필요로 하지 않습니다. 본 결과는 시간적 집계(temporal aggregation)가 기존 회피 기법보다 더 완화된 가정 하에서도 도달 가능한 공격 표면임을 입증합니다.
클라이언트가 조율될 때: 연합 학습 서버를 격파하는 전략적 그래디언트 조작과 효율적 방어
When Clients Are Orchestrated: Strategic Gradient Manipulation to Defeat Federated Learning Servers with Efficient Defense
연합 학습(Federated Learning)은 원시 데이터가 아니라 모델 업데이트를 중앙 매개변수 서버(PS)와 교환함으로써 분산 모델 학습을 가능하게 한다. 기존 방어의 대부분은 정적이거나 독립적으로 행동하는 적대자를 주로 가정하는 반면, 우리는 이러한 보호를 체계적으로 우회하는 새로운 유형의 동적·적응형 공격을 밝힌다. 우리는 악성 조율 서버(OS)가 표적·비표적 공격 클라이언트를 포함한 이질적 적대적 클라이언트 집합을 동적으로 조율하는 통합 공격 프레임워크 Fed-ADR을 제안한다. OS의 실시간 조율을 통해 악성 클라이언트는 PS에 배포된 방어를 회피하도록 그래디언트 업데이트를 전략적으로 조정하면서, 전역 모델 성능을 심각하게 저하시키거나 학습을 적대적 목표로 유도한다. 이 위협을 완화하기 위해, 우리는 각 클라이언트의 과거 업데이트로부터 실제 그래디언트를 추정하는 탐지 메커니즘을 제시하여 추가 오버헤드 없이 조율된 악성 행동의 실시간 탐지를 가능하게 한다. 또한 학습을 재시작하지 않고 전역 모델 성능을 복구하는 in-situ 복구 메커니즘을 도입하여 수렴을 유지하고 복구 시간을 최소화한다. MNIST, Fashion-MNIST, CIFAR-10 벤치마크 데이터셋에 대한 종합 실험은 Fed-ADR 공격 체계가 전역 정확도를 90% 이상에서 10% 미만으로 낮출 수 있으며 여러 최신(state-of-the-art) 방어를 우회함을 보여준다. 우리의 탐지 및 복구 모듈을 사용하면 악성 클라이언트를 식별하고 수 라운드 내에 정확도를 90% 이상으로 복구하며, 처음부터 재학습하는 것보다 훨씬 낮은 비용으로—계산 오버헤드를 최소 20배 줄이는—성과를 달성한다.
안전성의 대가: LLM 에이전트에서 메모리 포이즈닝 방어의 양성 케이스 유틸리티와 토큰 오버헤드
The Price of Safety: Benign-Case Utility and Token Overhead of Memory-Poisoning Defenses in LLM Agents
LLM 에이전트용 메모리 포이즈닝(memory-poisoning) 방어는 일반적으로 공격을 막는 능력으로 평가된다. 그러나 이들이 처리하는 트래픽은 적대적(adversarial)인 경우가 드물다. 방어를 도입하는 비용은 매 상호작용마다 지불되지만, 그 이익은 전체 중 극히 일부의 경우에만 나타난다. 우리는 메모리 백엔드, 검색(retrieval) 과정, 판정(judge)을 조건마다 동일하게 유지하고 방어 방식만 바꾸는 측정 설정을 마련했다. 각 조건을 다섯 개의 대화에 걸쳐 세 번씩 시험하여, temperature zero에서도 여전히 유의한 파이프라인 실행에 내재된 잡음과 방어의 실제 효과를 구분했다. 완전히 양성(benign) 트래픽 위에서 세 가지 쓰기 시점(write-time) 방어(입력 정화, 출처(provenance) 검증, LLM 기반 이상 탐지)와 하나의 읽기 시점(read-time) 방어(재순위화(reranking))를 시험한 결과, 쓰기 시점 방어들은 우리가 분별할 수 있는 유틸리티 비용을 보이지 않았으며, 95% 신뢰구간은 대략 ±4.5점 범위에 있고 0을 포함한다. 재순위화기(reranker)는 다르다. 핵심 정확도를 4.4점 낮추며(95% CI [-9.0, -0.05], bootstrap; McNemar p=0.064), 이 결과는 재현에도 견디지만 우리 해상도의 경계에 있다. 더 분명한 비용은 통계적이기보다 기계적이다. 공격이 없는 대화에서 재순위화기는 판정된 항목의 33.6%에서 정당한 메모리를 격리(quarantine)하며, 단일 대화에서 최대 106건의 거짓 격리에 이르고, 2.7%의 토큰 오버헤드가 있다. 네 가지 방어를 모두 겹쳐도 이 비용이 누적되지는 않는다. 결합 조건의 정확도 손실은 더 작고 신뢰구간이 0을 포함하여, 쓰기 시점 방어가 재순위화기가 버리는 것을 부분적으로 상쇄할 수 있음을 시사한다. LLM 사용 여부가 아니라 방어가 파이프라인을 어디서 가로채는지가 양성 케이스에서의 대가를 결정하는 것으로 보인다.
새로운 유형의 적대적 예제: 인간-모델 격차 측정 및 OOD 탐지와의 관계
A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection
거의 모든 적대적 공격은 모델을 속이기 위해 인지할 수 없는 교란(perturbation)을 추가한다. 우리는 반대를 연구한다: 인간이 더 이상 이미지를 인식하지 못하더라도 모델이 원래의 올바른 예측을 유지하게 만드는 크고 명확히 보이는 교란이다. 이전 연구는 이러한 예제를 대규모로 생성할 수 있음을 보여주었지만 세 가지 질문을 검증하지 않았다: 인간이 실제로 모델보다 성능이 더 나쁜지, 표준 분포 밖(out-of-distribution, OOD) 탐지 및 보정(calibration) 도구가 이를 포착하는지, 기존 방어 기법이 이를 완화하는지. 우리는 MNIST, CIFAR-10, ImageNet에서 세 가지 모두에 답한다. (i) 독립적인 인식기 프록시는 CIFAR-10에서 ~49%까지 떨어지는 반면 모델은 100%를 유지한다 — 소규모 인간 파일럿(N=5)이 직접 뒷받침하는 격차이며, 신호 손실로는 설명되지 않는다(동일 크기의 가우시안 대조군이 인식 가능성을 더 빠르게 저하시킴); CLIP 제로샷 프록시도 ImageNet 규모에서 동일한 격차를 확인한다. (ii) 신뢰도 및 에너지 기반 OOD 탐지기와 보정은 구조적으로 탐지하지 못한다(탐지율 0%, ECE ~= 0). 반면 특징(feature) 공간 Mahalanobis 탐지기는 100%를 탐지하지만, 적응형 공격자가 성공률 손실 없이 이를 회피한다. (iii) 적대적 학습(adversarial training, robust accuracy 45%)을 포함한 어떤 고전적 방어 기법도 공격 성공률을 낮추지 않는다(large-epsilon_l 저항성과의 상관 r ~= 0). 기계론적 분석은 추가로 이 공격이 엣지/형태 구조보다 저수준 텍스처를 훨씬 빠르게 파괴함을 보여준다.
내부 정보 분해를 통한 다중모달 AI 보안
Securing Multimodal AI through Internal Information Decomposition
다중모달 대규모 언어 모델은 단일모달 시스템에는 없는 공격 표면을 도입한다. 적대자는 단일모달 안전장치를 회피하기 위해 악의적 의도를 여러 모달리티에 분산시킬 수 있다. 이는 각 모달리티를 독립적으로 검사하기보다 교차 모달 일관성을 탐지 신호로 사용하도록 동기를 부여한다. 핵심 관찰은, 정상 입력이 텍스트 전용 및 비전 전용 추론에서 호환 가능한 예측 행동을 유도하며 융합 시 안정화되는 반면, 적대적 조작은 이러한 일관성을 파괴하여 비정상적인 다중모달 행동을 유발한다는 것이다. 원시 입력이나 출력을 검사하는 기존 방어 기법은 이러한 내부 융합 과정을 간과하여 취약하고 계산 비용이 높다. 우리는 내부 다중모달 일관성을 모니터링하여 유해 입력을 탐지하는 경량 추론 시점 프레임워크인 FlowGuard를 제안한다. 스칼라 신뢰도 지표에 의존하는 접근법과 달리, FlowGuard는 Partial Information Decomposition에서 영감을 받은 FlowVector를 도출하여 교차 모달 중복성(redundancy), 시너지(synergy), 모달리티별 지배(dominance)를 정량화하고, 융합된 다중모달 예측이 단일모달 의미적 증거와 정렬된 상태를 유지하는지 포착한다. 정상 데이터만으로 학습된 일 클래스 분류(one-class classification) 문제에서 FlowGuard는 보지 못한 공격에 대해 공격 성공률(Attack Success Rate)을 90% 이상에서 15% 미만으로 낮추며, 유틸리티 손실 3% 미만과 최대 6배의 지연 시간 감소를 달성한다. 결과는 교차 모달 일관성 모니터링이 다중모달 추론에 대해 효율적이고 효과적인 방어를 제공함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.