arXiv:2101.02573

RANK: AI-assisted End-to-End Architecture for Detecting Persistent Attacks in Enterprise Networks

Hazem M. Soliman, Geoff Salmon, Dušan Sovilj, Mohan Rao

제출 2021-01-06

원문 초록

Advanced Persistent Threats (APTs) are sophisticated multi-step attacks, planned and executed by skilled adversaries targeting modern government and enterprise networks. Intrusion Detection Systems (IDSs) and User and Entity Behavior Analytics (UEBA) are commonly employed to aid a security analyst in the detection of APTs. The prolonged nature of APTs, combined with the granular focus of UEBA and IDS, results in overwhelming the analyst with an increasingly impractical number of alerts. Consequent to this abundance of data, and together with the crucial importance of the problem as well as the high cost of the skilled personnel involved, the problem of APT detection becomes a perfect candidate for automation through Artificial Intelligence (AI). In this paper, we provide, up to our knowledge, the first study and implementation of an end-to-end AI-assisted architecture for detecting APTs -- RANK. The goal of the system is not to replace the analyst, rather, it is to automate the complete pipeline from data sources to a final set of incidents for analyst review. The architecture is composed of four consecutive steps: 1) alert templating and merging, 2) alert graph construction, 3) alert graph partitioning into incidents, and 4) incident scoring and ordering. We evaluate our architecture against the 2000 DARPA Intrusion Detection dataset, as well as a read-world private dataset from a medium-scale enterprise. Extensive results are provided showing a three order of magnitude reduction in the amount of data to be reviewed by the analyst, innovative extraction of incidents and security-wise scoring of extracted incidents.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2504.01882v2cs.LG공통 태그 Intrusion Detection공식 코드 · Papers with Code

CO-DEFEND: DoH 기반 보안 위협 탐지를 위한 연속 분산 연합 학습

CO-DEFEND: Continuous Decentralized Federated Learning for Secure DoH-Based Threat Detection

공격자가 DNS over HTTPS(DoH) 터널링을 사용해 암호화된 DNS 트래픽 속에 악성 활동을 숨기면, 악성 행위자가 기존 모니터링 및 침입 탐지 시스템을 우회하고 일반적인 트래픽 분석 기법의 탐지를 피할 수 있으므로 네트워크 보안에 심각한 위협이 된다. DoH 터널을 탐지하는 데 ML 기법을 사용할 수 있지만, 그 효과는 정상 트래픽과 악성 트래픽을 모두 포함하는 대규모 데이터셋에 달려 있다. 이러한 데이터셋을 여러 기관 간에 공유하는 것은 개인정보 보호 우려로 인해 어렵다. 본 연구에서는 여러 기관이 데이터 프라이버시를 보존하면서 DoH 위협 탐지를 위한 분류 머신러닝 모델을 협력적으로 학습하고, 확장성을 높이며 단일 장애점에 대한 복원력을 강화할 수 있는 CO-DEFEND 프레임워크를 제안한다. 제안된 DFL(분산 연합 학습) 프레임워크는 DoH 위협 탐지를 위한 현실적인 구현을 제공하며, 여러 기관이 처리되는 수신 DoH 플로우를 실시간 배치로 온라인에서 로컬 모델을 학습할 수 있게 한다. 이는 현대 인터넷 아키텍처에 자연스럽게 부합하는 접근 방식이다. 이 프레임워크는 서포트 벡터 머신, 로지스틱 회귀, 의사결정나무, 랜덤 포레스트의 네 가지 고전적 머신러닝 알고리즘을 연합 시나리오와 효율적 학습에 맞게 조정한다. 또한 CO-DEFEND의 핵심 방법론적 특징은 DT와 RF를 집계 메커니즘이 아닌 모델 선택 수단으로 사용하는 것으로, 각 참여자가 해석 가능하고 로컬 최적의 의사결정 구조를 유지하면서 집합 통신 업데이트의 이점을 누릴 수 있게 한다. CIRA-CIC-DoHBrw-2020 데이터셋을 사용해 신경망과 같이 계산적으로 더 복잡한 대안을 포함한 기존 머신러닝 접근법과 제안 방법을 비교하여, 확장성과 계산 효율성을 개선하면서 악성 DoH 터널을 탐지하는 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.