arXiv:2409.00667

Comprehensive Botnet Detection by Mitigating Adversarial Attacks, Navigating the Subtleties of Perturbation Distances and Fortifying Predictions with Conformal Layers

Rahul Yumlembam, Biju Issac, Seibu Mary Jacob, Longzhi Yang

제출 2024-09-01

원문 초록

Botnets are computer networks controlled by malicious actors that present significant cybersecurity challenges. They autonomously infect, propagate, and coordinate to conduct cybercrimes, necessitating robust detection methods. This research addresses the sophisticated adversarial manipulations posed by attackers, aiming to undermine machine learning-based botnet detection systems. We introduce a flow-based detection approach, leveraging machine learning and deep learning algorithms trained on the ISCX and ISOT datasets. The detection algorithms are optimized using the Genetic Algorithm and Particle Swarm Optimization to obtain a baseline detection method. The Carlini & Wagner (C&W) attack and Generative Adversarial Network (GAN) generate deceptive data with subtle perturbations, targeting each feature used for classification while preserving their semantic and syntactic relationships, which ensures that the adversarial samples retain meaningfulness and realism. An in-depth analysis of the required L2 distance from the original sample for the malware sample to misclassify is performed across various iteration checkpoints, showing different levels of misclassification at different L2 distances of the Pertrub sample from the original sample. Our work delves into the vulnerability of various models, examining the transferability of adversarial examples from a Neural Network surrogate model to Tree-based algorithms. Subsequently, models that initially misclassified the perturbed samples are retrained, enhancing their resilience and detection capabilities. In the final phase, a conformal prediction layer is integrated, significantly rejecting incorrect predictions, of 58.20 % in the ISCX dataset and 98.94 % in the ISOT dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.13160v2cs.LG공통 태그 Conformal Prediction공식 코드 · Papers with Code

CertDW: Conformal Calibration을 통한 인증된 데이터셋 소유권 검증

CertDW: Towards Certified Dataset Ownership Verification via Conformal Calibration

심층 신경망(DNN)은 ImageNet과 같은 고품질 오픈소스 데이터셋에 크게 의존하여 성공을 거두므로, 공개 데이터셋 저작권 보호를 위해 데이터셋 소유권 검증(DOV)이 중요하다. 본 논문에서는 기존 DOV 방법들이 (암묵적으로) 검증 과정이 충실하다고 가정한다고 밝힌다. 즉, 의심 모델이 검증 샘플을 입력으로 직접 사용하고 그 결과를 반환하여 소유권을 검증한다는 전제이다. 그러나 이 가정은 실제로 반드시 성립하지 않을 수 있으며, 의도적 또는 비의도적 교란에 노출되면 성능이 급격히 저하될 수 있다. 이 한계를 해결하기 위해, 우리는 첫 번째 인증된 데이터셋 워터마크(즉 CertDW)와 CertDW 기반 인증된 데이터셋 소유권 검증 방법을 제안한다. 이 방법은 특정 조건(예: 제한된 픽셀 수준 교란) 하에서 악의적 공격에도 신뢰할 수 있는 검증을 보장한다. 구체적으로, 컨포멀 예측(conformal prediction)에서 영감을 받아, 노이즈 교란 하에서 정상 샘플과 워터마크 샘플에 대한 모델 예측 안정성을 평가하기 위해 주요 확률(principal probability, PP)과 워터마크 견고성(watermark robustness, WR)이라는 두 가지 통계적 척도를 도입한다. 우리는 WR을 PP 기반 보정 임계값과 연결하는 증명 가능한 인증 조건, 그리고 false positive rate에 대한 높은 확률 상한을 도출하여, 의심 모델의 WR 값이 워터마크 없는 데이터셋으로 학습된 여러 정상 모델의 PP 값을 유의미하게 초과할 때 소유권 검증을 가능하게 한다. WR보다 작은 PP 값의 개수가 컨포멀 보정을 통해 결정된 임계값을 초과하면, 의심 모델이 보호된 데이터셋으로 학습된 것으로 간주한다. 벤치마크 데이터셋에 대한 광범위한 실험은 CertDW 방법의 효과와 잠재적 적응형(adaptive) 공격에 대한 저항력을 검증한다. 코드는 \href{https://github.com/NcepuQiaoTing/CertDW}{GitHub}에 있다.

arXiv:2506.23921v5cs.CL공통 태그 Conformal Prediction공식 코드 · Papers with Code

대규모 언어 모델에서 진실의 트릴레마

The Trilemma of Truth in Large Language Models

일반 대중은 대규모 언어 모델(LLM)에 인간과 유사한 특성을 부여하며, LLM이 특정 정보를 '알고' 있다고 가정하는 경우가 많다. 실제로 LLM은 학습 중 보존된 정보를 내부적 확률적 지식으로 인코딩한다. 본 연구는 해당 지식의 진위를 탐칭(probing)하는 기존 방법들을 검토하고, 세 가지 결함 있는 근본 가정을 밝힌다. 이러한 결함을 해결하기 위해, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 다중 클래스 탐칭 프레임워크인 sAwMIL(Sparse-Aware Multiple-Instance Learning)을 제안한다. sAwMIL은 LLM의 내부 표현(representation)을 활용하여 진술을 참, 거짓, 또는 둘 다 아님으로 분류한다. 우리는 새롭게 구축한 세 개의 데이터셋을 사용하여, 기본형 및 채팅 기반 변형을 포함한 16개의 오픈소스 LLM에 대해 sAwMIL을 평가한다. 결과는 (1) 일반적인 탐칭 방법은 신뢰할 수 있고 전이 가능한(transferable) 진위 방향을 제공하지 못하며, 일부 설정에서는 제로샷(zero-shot) 프롬프팅(prompting)보다 성능이 낮음을, (2) 진실과 거짓은 대칭적으로 인코딩되지 않음을, (3) LLM이 참과 거짓 모두와 구별되는 제3의 유형의 신호를 인코딩함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.