arXiv:2607.01679v1 cs.CR

Beyond Gradient-Based Attacks: Adversarial Robustness and Explainability Stability in Cybersecurity Classifiers

Mona Rajhans, Vishal Khawarey

제출 2026-07-02

원문 초록

Adversarial attacks on cybersecurity classifiers pose a dual threat: degrading predictions and destabilising the SHAP-based explanations that security analysts rely on to understand and triage alerts. We extend our prior MLP conference study to Random Forest and XGBoost across four tabular security datasets (phishing URLs, UNSW-NB15, NF-ToN-IoT, HIKARI-2021), evaluating five attacks including three black-box methods applicable to non-differentiable tree models. We introduce the Explainability Stability Index (ESI), a scalar metric computed from TreeSHAP attribution drift under adversarial perturbation, reported on the same [0,1] scale as the Robustness Index (RI). A key finding is that gradient-based black-box attacks (ZOO) produce degenerate results against XGBoost (apparent RI ~0.98) due to piecewise-constant prediction surfaces, while score-based Square Attack reveals genuine vulnerability (RI ~0.36). These degenerate perturbations still drive substantial attribution drift: XGBoost ESI ~0.06-0.16 despite near-perfect ZOO robustness, versus 0.14-0.29 for RF, showing that prediction robustness and explanation stability are distinct axes requiring joint measurement. A two-axis framework (gradient dependence, query efficiency) explains the observed attack ranking and yields practical guidance for tree ensemble evaluation. A step-size ablation explains a counterintuitive PGD anomaly on z-score normalised tabular data.

요약

사이버보안 분류기(Random Forest, XGBoost)에 대한 적대적 공격(adversarial attack)의 이중 위협—예측 정확도 저하와 SHAP 기반 설명 불안정—을 분석하며, 예측 강건성(Robustness Index)과 독립적으로 측정해야 하는 새로운 지표인 설명 안정성 지수(Explainability Stability Index, ESI)를 제안한다. 특히 그래디언트 기반 블랙박스 공격(ZOO)이 XGBoost의 불연속 예측 곡면으로 인해 허위 강건성(RI ≈ 0.98)을 보이는 반면, 스코어 기반 Square Attack은 실제 취약성(RI ≈ 0.36)을 드러냄을 4개 보안 데이터셋 실험을 통해 입증한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.01679v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02552v1cs.CR공통 태그 Anomaly Detection, Intrusion Detection, Adversarial Attack

동기화에서 벗어나 시야에서 사라지다: 산업용 사물인터넷(IIoT) 침입 탐지를 겨냥한 유령 상태 공격

Out of Sync, Out of Sight: Phantom State Attacks against IIoT Intrusion Detection

머신러닝 기반 침입 탐지 시스템(IDS)은 산업용 사물인터넷(IIoT) 환경의 보안을 유지하는 데 매우 중요합니다. 이에 대응하는 대부분의 적대적 공격 연구는 특징(feature) 벡터나 이를 생성하는 트래픽을 섭동(perturbation)하며, 그래디언트(gradient) 접근, 반복적인 모델 쿼리, 또는 정상 트래픽에 대해 학습된 모델에 의존합니다. 일부 연구에서는 탐지기에 쿼리하지 않고 패킷 타이밍을 재구성하기도 하지만, 악성 트래픽이 정상 타이밍의 학습된 모델을 모방하도록 만듭니다. 이러한 접근법 전반에서 산업 모니터링 파이프라인의 중요한 가정 하나가 거의 주목받지 못했는데, 바로 시간 동기화(temporal synchronization)입니다. IDS는 텔레메트리를 슬라이딩 또는 텀블링 윈도우로 집계하여 운영 상태를 재구성하므로, IDS의 관점은 무엇이 관측되었는지뿐만 아니라 각 관측치가 윈도우 경계와 비교하여 언제 발생하는지에도 의존합니다. 본 논문에서는 수동적이고 쿼리가 없는(zero-query) 위협 모델 하에서 이러한 의존성을 악용하는 유령 상태 공격(Phantom State Attack, PSA)을 소개합니다. PSA는 패킷을 수정하거나, 특징을 섭동하거나, 분류기에 쿼리하거나, 정상 트래픽 모델을 피팅하는 대신, 공격 흐름 자체의 패킷 도착 간 변동성에 맞춰 보정된 유계 타이밍 드리프트(bounded timing drift)를 주입하여 관측치를 가장 가까운 윈도우 경계 너머로 필요한 최소한의 이동량만큼 이동시킵니다. 그러면 IDS는 실제 프로세스 상태와 다른 유령 상태(phantom state)를 재구성하게 됩니다. 저자들은 ToN-IoT 및 CIC IIoT 2025(DataSense) 데이터셋에서 Random Forest, MLP, XGBoost를 대상으로 PSA를 평가하고, 탐지 성능 저하, 동기화 왜곡, 은닉성, 공격자 비용을 측정했습니다. PSA는 윈도우 경계 재배치가 가능할 만큼 충분한 패킷을 가진 플로우에서는 탐지 성능을 저하시키고 다른 플로우는 거의 변화시키지 않으므로 그 효과는 조건부입니다. 쿼리 기반 기준선(baseline)은 더 높은 원시 성공률에 도달하지만 윈도우당 많은 쿼리를 필요로 하는 반면, PSA는 쿼리를 전혀 필요로 하지 않습니다. 본 결과는 시간적 집계(temporal aggregation)가 기존 회피 기법보다 더 완화된 가정 하에서도 도달 가능한 공격 표면임을 입증합니다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2610.03498v2cs.RO공통 태그 Adversarial Attack, Adversarial Robustness

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

arXiv:2610.13780v1cs.CV공통 태그 Anomaly Detection, Classification

형광 현미경 이미지에서 극히 희귀한 사멸 세포의 검출

Detection of extremely rare dead cells in fluorescence microscopy images

형광 현미경 관찰에서 사멸 세포 검출은 표현형 스크리닝과 약물 효능 평가에 필수적입니다. 그러나 신호 가변성, 광학 인공물(optical artifact), 여러 채널 간 공국재화(colocalization) 모호성으로 인해 자동 식별은 여전히 어렵습니다. 세포핵 경계를 정의하는 마커는 세포사멸(apoptotic) 마커와 공간적 또는 시간적으로 깔끔하게 일치하지 않습니다. 더욱이 마커 축적 동역학은 개별 세포 및 세포사멸 단계마다 다르므로 범용 임계값을 신뢰하기 어렵습니다. 본 논문에서는 핵 염색 검체에서 세포사멸 세포를 검출하기 위한 여러 전산적 접근 방식에 대한 체계적인 비교를 제시합니다: (1) 강도 임계값, 분포, 상관관계 및 도메인 지침을 사용하는 휴리스틱 방법; (2) 수치적 특징(로지스틱 회귀, 랜덤 포레스트, XGBoost 및 LightGBM)과 이미지 특징(ResNet-18 및 EfficientNet-B0)을 사용하는 분류; (3) 마찬가지로 수치적 특징(격리 포레스트, 원클래스 SVM 및 PCA 재구성)과 이미지 특징(합성곱 오토인코더 및 Deep SVDD)을 사용하는 이상 탐지. 수작업으로 주석이 달린 243개의 실측값(ground truth) 사멸 세포를 포함하여 여러 장면에 걸쳐 65,527개의 세포/핵이 포함된 258개 이미지 데이터셋을 사용하여, PR-AUC, 정밀도, 재현율, F1-score 및 macro-F1과 같은 지표로 각 방법을 평가합니다. 연구 결과에 따르면 이미지 특징을 사용하는 분류(심층 학습)와 수치적 특징을 사용하는 분류(전통적 방식)가 가장 우수한 성능을 달성했으며, ResNet-18과 XGBoost가 수작업으로 설계된 휴리스틱 및 이상 탐지 방법보다 크게 우수한 성과를 보였습니다. 이러한 연구 결과는 최첨단 전산 및 학습 기법으로도 이러한 생의학 문제를 해결하는 것이 여전히 매우 까다롭다는 점을 보여줍니다. 우리는 도메인 과학자를 돕는 보조 도구로서 완전 자동 방식이나 인간 참여형(human-in-the-loop) 설정 모두에서 연구자들에게 효과적인 의사결정 지원 도구를 제공하는 것을 목표로 합니다.

arXiv:2609.30243v2cs.CL공통 태그 Adversarial Attack, Adversarial Robustness

JevOut: 자연스러운 문맥이 의사결정 모델을 뒤흔들 수 있다

JevOut: Natural Context Can Flip Decision Models

평범해 보이는 배경 정보 하나가 모델의 올바른 결정을 확신에 찬 실수로 바꿀 수 있습니다. 본 연구는 지식, 추론, 도구 라우팅(tool routing)을 다루는 7개 데이터셋에 걸쳐 Jev를 포함한 4개 의사결정 시스템에서 이러한 취약성을 입증합니다. 결정당 수용된 64회의 타깃 평가 내에서, 각 시스템의 초기에 올바랐던 결정 중 61.4%-73.2%를 사전에 정해둔 오답 선지로 유도하는 짧은 추가 문맥을 찾아냈습니다. 이러한 추가 문맥은 명시적인 정답 선택 지시 대신 배경 정보나 절차적 정보를 제공하며, 원래의 질문과 선택지는 그대로 유지합니다. 저자들은 자연스러움 및 정답 보존 제약 조건 하에서 선지 분포의 변화를 이용해 주변 텍스트를 개선하는 확률 기반 문맥 최적화(probability-guided context optimization)를 통해 이를 생성했습니다. 이러한 오도(redirection)는 초기에 확신도가 높았던 결정에도 영향을 미치며, 종종 확신도 높은 오답을 생성하고 모델 간에도 전이됩니다. 블라인드 인간 평가(blinded human evaluation)에서 표본 추출된 250개의 성공적인 문맥 중 91.6%는 독립적인 3명의 평가자 중 과반수에 의해 자연스럽고 정답을 보존하며 정답을 바꿀 만한 결정적 증거가 없다고 판단되었습니다. 본 연구 결과는 현재 의사결정 모델의 약점을 드러냅니다. 즉, 입력과 완전히 조화로워 보이는 문맥이 에이전트(agent), 라우터, 평가자가 의존하는 선택을 왜곡할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.