arXiv:2006.16993

Feature Extraction for Novelty Detection in Network Traffic

Kun Yang, Samory Kpotufe, Nick Feamster

제출 2020-06-30

원문 초록

Data representation plays a critical role in the performance of novelty detection (or ``anomaly detection'') methods in machine learning. The data representation of network traffic often determines the effectiveness of these models as much as the model itself. The wide range of novel events that network operators need to detect (e.g., attacks, malware, new applications, changes in traffic demands) introduces the possibility for a broad range of possible models and data representations. In each scenario, practitioners must spend significant effort extracting and engineering features that are most predictive for that situation or application. While anomaly detection is well-studied in computer networking, much existing work develops specific models that presume a particular representation -- often IPFIX/NetFlow. Yet, other representations may result in higher model accuracy, and the rise of programmable networks now makes it more practical to explore a broader range of representations. To facilitate such exploration, we develop a systematic framework, open-source toolkit, and public Python library that makes it both possible and easy to extract and generate features from network traffic and perform and end-to-end evaluation of these representations across most prevalent modern novelty detection models. We first develop and publicly release an open-source tool, an accompanying Python library (NetML), and end-to-end pipeline for novelty detection in network traffic. Second, we apply this tool to five different novelty detection problems in networking, across a range of scenarios from attack detection to novel device detection. Our findings general insights and guidelines concerning which features appear to be more appropriate for particular situations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09290v1cs.CR공통 태그 Anomaly Detection, Malware Detection

PDF 악성코드 탐지를 위한 해석 가능한 Tsetlin Machine 활용

Leveraging Interpretable Tsetlin Machine for PDF Malware Detection

디지털 시대에 PDF(Portable Document Format)는 플랫폼 독립성과 풍부한 기능성 덕분에 디지털 문서의 저장 및 교환에 가장 널리 사용되는 파일 형식 중 하나이다. 그러나 이러한 특성은 동시에 PDF 파일을 사이버 공격자들에게 매력적인 공격 벡터로 만들었으며, 공격자들은 겉으로는 정상적으로 보이는 문서 내에 악성 코드를 삽입하여 대상 시스템을 침해한다. 본 논문은 PDF 악성코드 탐지를 위한 새로운 해석 가능한 Tsetlin Machine(TM) 기반 프레임워크를 제안한다. 제안된 프레임워크는 파일을 실행하지 않고 정적 분석을 통해 PDF 문서에서 주요 특징을 추출하고, 규칙 기반 학습을 적용하여 정상 및 악성 PDF 문서를 정확하게 분류한다. RIT-PDFMal-2026 데이터셋에 대한 수치 평가 결과, 제안된 프레임워크는 여러 ML 분류기 및 기존 방법과 비교하여 98.02%의 정확도를 달성하며 경쟁력 있는 성능을 보인다. 또한 제안된 프레임워크는 분류 결정을 투명하게 설명함으로써 본질적인 해석 가능성을 제공한다. 경쟁력 있는 탐지 성능, 계산 효율성, 그리고 본질적인 해석 가능성의 조합은 제안된 프레임워크를 실용적인 PDF 악성코드 탐지를 위한 유망한 솔루션으로 만든다.

arXiv:2607.04292v1cs.AI공통 태그 Anomaly Detection, Malware Detection

Agentic SABRE: 적응형 랜섬웨어 탐지를 위한 불확실성 인식 신경-기호 다중 에이전트 프레임워크

Agentic SABRE: An Uncertainty-Aware Neuro-Symbolic Multi-Agent Framework for Adaptive Ransomware Detection

랜섬웨어는 정적 시그니처와 모놀리식 분류기가 개념 드리프트(concept drift), 우회(evasion), 행동 다형성(behavioural polymorphism) 하에서 일반화에 실패하는 복잡하고 적응적이며 빠르게 변화하는 공격자 유형으로 진화하였다. 본 논문에서는 적응형 랜섬웨어 탐지를 위한 불확실성 인식 신경-기호 다중 에이전트 프레임워크인 Agentic SABRE(Semantic-Behavioural Arbitration for Ransomware Evaluation, 랜섬웨어 평가를 위한 의미-행동 중재)를 제시한다. SABRE는 의미론적·표현 기반 증거와 행동적·시간 윈도우 포렌식 텔레메트리를 융합하고, 몬테카를로 드롭아웃(Monte Carlo Dropout) 추론을 활용하여 각 에이전트의 인식론적 불확실성(epistemic uncertainty)을 정량화한다. 본 연구에서는 두 가지 해석 가능한 임계값인 위험 점수(risk score)와 불확실성 예산(uncertainty budget)을 사용해 위험 및 불확실성 인식 트리아지를 수행하는 결정 층 오케스트레이터를 도입한다. 고신뢰·고위험 샘플은 자동으로 격리되며, 불확실하거나 경계선상의 케이스는 인간 분석가에게 에스컬레이션되어 자율 대응과 분석가 감독 사이의 유연한 계산 계약을 확립한다. 감사 가능성과 신뢰성을 지원하기 위해 SABRE는 그래디언트 현저성(gradient saliency), 순열 중요도(permutation importance), 반사실적 분석(counterfactual analysis)을 포함한 사후 설명 가능성 메커니즘을 통합하여 에이전트 결정에 대한 로컬 및 글로벌 해석을 모두 가능하게 한다. RDset 및 RanSMAP에 대한 광범위한 평가를 통해 Agentic SABRE가 포화된 의미 데이터셋에서 AUC 1.0으로 완벽한 판별력을 유지하면서 약한 행동 신호 하에서 견고성을 향상시킴을 입증한다. 동일한 재현율에서 거짓 에스컬레이션을 최대 4.9% 상대적으로 감소시키면서 보정된 예측 불확실성을 유지한다. 반사실적 분석은 의미론적 및 행동적 결정이 제한된 섭동 비용으로 역전될 수 있음을 추가로 보여주며, 이는 안정적이고 해석 가능한 결정 경계를 나타낸다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.