arXiv:2104.14978

A comparative study of neural network techniques for automatic software vulnerability detection

Gaigai Tang, Lianxiao Meng, Shuangyin Ren, Weipeng Cao, Qiang Wang, Lin Yang

제출 2021-04-29

원문 초록

Software vulnerabilities are usually caused by design flaws or implementation errors, which could be exploited to cause damage to the security of the system. At present, the most commonly used method for detecting software vulnerabilities is static analysis. Most of the related technologies work based on rules or code similarity (source code level) and rely on manually defined vulnerability features. However, these rules and vulnerability features are difficult to be defined and designed accurately, which makes static analysis face many challenges in practical applications. To alleviate this problem, some researchers have proposed to use neural networks that have the ability of automatic feature extraction to improve the intelligence of detection. However, there are many types of neural networks, and different data preprocessing methods will have a significant impact on model performance. It is a great challenge for engineers and researchers to choose a proper neural network and data preprocessing method for a given problem. To solve this problem, we have conducted extensive experiments to test the performance of the two most typical neural networks (i.e., Bi-LSTM and RVFL) with the two most classical data preprocessing methods (i.e., the vector representation and the program symbolization methods) on software vulnerability detection problems and obtained a series of interesting research conclusions, which can provide valuable guidelines for researchers and engineers. Specifically, we found that 1) the training speed of RVFL is always faster than BiLSTM, but the prediction accuracy of Bi-LSTM model is higher than RVFL; 2) using doc2vec for vector representation can make the model have faster training speed and generalization ability than using word2vec; and 3) multi-level symbolization is helpful to improve the precision of neural network models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.03818v3cs.LG공통 태그 Vulnerability Detection공식 코드 · Papers with Code

대규모 언어 모델을 이용한 프로그램 의미적 비동치 게임

Program Semantic Inequivalence Game with Large Language Models

대규모 언어 모델(LLM)은 일상적인 코딩 작업에서 강한 성능을 낼 수 있지만, 프로그램 의미에 대한 비자명한(non-trivial) 추론을 요구하는 복잡한 작업에서는 실패할 수 있다. LLM이 이러한 작업을 풀도록 가르치기 위한 학습 예시를 마련하는 것은 어려울 수 있다. 본 연구에서는 의미적 비동치 게임(semantic inequivalence game, SInQ)에 기반해 코드 추론 학습 데이터를 합성적으로 생성하는 방법을 탐구한다. 생성자 에이전트는 실제 프로그래밍 과제 데이터셋에서 파생된, 의미적으로 구별되는 프로그램 변형을 만들고, 평가자 에이전트는 두 변형이 서로 다르게 동작하는 입력 예시를 찾아야 한다. 에이전트들은 준적대적으로(semi-adversarially) 서로를 학습시키며 코드의 기저 논리를 이해하는 능력을 향상시킨다. 우리는 코드 생성 및 이해 벤치마크 여러 곳에서 접근법을 평가했으며, 여기에는 교차 언어 취약점 탐지(Lu et al., 2021)가 포함된다. 이 설정에서 우리 방법은 오직 Python 코드로만 학습했음에도 C/C++ 코드의 취약점 탐지를 개선하며, 까다로운 Python 내장 식별자 교체 벤치마크(Miceli Barone et al., 2023)에서는 최신 LLM이 여전히 이 벤치마크에서 어려움을 겪는 반면 우리 접근법이 상당한 개선을 보여준다. 실험 재현에 필요한 코드와 LLM 파인튜닝에 사용할 수 있는 생성된 합성 데이터를 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.