Assessment of the Relative Importance of different hyper-parameters of LSTM for an IDS
원문 초록
Recurrent deep learning language models like the LSTM are often used to provide advanced cyber-defense for high-value assets. The underlying assumption for using LSTM networks for malware-detection is that the op-code sequence of malware could be treated as a (spoken) language representation. There are differences between any spoken-language (sequence of words/sentences) and the machine-language (sequence of op-codes). In this paper, we demonstrate that due to these inherent differences, an LSTM model with its default configuration as tuned for a spoken-language, may not work well to detect malware (using its op-code sequence) unless the network's essential hyper-parameters are tuned appropriately. In the process, we also determine the relative importance of all the different hyper-parameters of an LSTM network as applied to malware detection using their op-code sequence representations. We experimented with different configurations of LSTM networks, and altered hyper-parameters like the embedding-size, number of hidden layers, number of LSTM-units in a hidden layer, pruning/padding-length of the input-vector, activation-function, and batch-size. We discovered that owing to the enhanced complexity of the malware/machine-language, the performance of an LSTM network configured for an Intrusion Detection System, is very sensitive towards the number-of-hidden-layers, input sequence-length, and the choice of the activation-function. Also, for (spoken) language-modeling, the recurrent architectures by-far outperform their non-recurrent counterparts. Therefore, we also assess how sequential DL architectures like the LSTM compare against their non-sequential counterparts like the MLP-DNN for the purpose of malware-detection.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
과도한 로그 큐레이션을 넘어서: 비지도·컨텍스트 증강 언어 모델을 활용한 Perplexity 기반 APT 탐지
Beyond Heavy Log Curation: Perplexity-Based APT Detection via Unsupervised, Context-Augmented Language Models
고급 지속 위협(Advanced Persistent Threats, APT)은 대규모 로그에서 공격 관련 이벤트가 극히 일부에 불과하고, 조사 비용이 크며 확장하기 어렵기 때문에 탐지가 여전히 어렵다. 기존 머신러닝 접근법은 분석가의 업무량을 줄일 수 있지만, 종종 대량으로 큐레이션된 학습 데이터와 정교한 전처리 파이프라인에 의존한다. 이러한 파이프라인을 구축하고 유지하려면 상당한 도메인 전문성과 엔지니어링 비용이 필요하다. 강력한 APT 탐지 기준선에 대한 연구에서 얻은 통찰에 영감을 받아, 우리는 CAPTAIN(Context-Augmented Perplexity-based Threat Activity log detectIoN)을 제안한다. 이는 perplexity 기반 탐지기로, 최소한의 도메인 비의존적 전처리와 함께 범용 사전학습 언어 모델을 활용하여, 최소한으로 전처리된 긴 로그 항목에 대한 강건한 점수화를 가능하게 한다. CAPTAIN은 인코더 모델과 Q-Former 스타일 브리지로 최근 이력을 인코딩한 뒤, 압축된 컨텍스트 토큰을 디코더 입력에 주입하여 perplexity가 시간적 컨텍스트를 반영하도록 한다. 안정성을 높이기 위해 CAPTAIN은 추가로 perplexity 시계열에 평활화 필터를 적용한다. APT 중심 벤치마크 전반에서 CAPTAIN은 강력한 기존 기준선과 경쟁력을 보이며, 훨씬 덜 큐레이션된 입력에서도 강건성을 유지하여 고급 로그 전처리의 개발 및 운영 비용을 절감한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
Customising General Large Language Models for Specialised Emotion Recognition Tasks
Boosting Zero-Shot Human-Object Interaction Detection with Vision-Language Transfer
토론
이 논문과 연결된 포럼 글이 아직 없습니다.