Data Quality Issues in Vulnerability Detection Datasets
원문 초록
Vulnerability detection is a crucial yet challenging task to identify potential weaknesses in software for cyber security. Recently, deep learning (DL) has made great progress in automating the detection process. Due to the complex multi-layer structure and a large number of parameters, a DL model requires massive labeled (vulnerable or secure) source code to gain knowledge to effectively distinguish between vulnerable and secure code. In the literature, many datasets have been created to train DL models for this purpose. However, these datasets suffer from several issues that will lead to low detection accuracy of DL models. In this paper, we define three critical issues (i.e., data imbalance, low vulnerability coverage, biased vulnerability distribution) that can significantly affect the model performance and three secondary issues (i.e., errors in source code, mislabeling, noisy historical data) that also affect the performance but can be addressed through a dedicated pre-processing procedure. In addition, we conduct a study of 14 papers along with 54 datasets for vulnerability detection to confirm these defined issues. Furthermore, we discuss good practices to use existing datasets and to create new ones.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델을 이용한 프로그램 의미적 비동치 게임
Program Semantic Inequivalence Game with Large Language Models
대규모 언어 모델(LLM)은 일상적인 코딩 작업에서 강한 성능을 낼 수 있지만, 프로그램 의미에 대한 비자명한(non-trivial) 추론을 요구하는 복잡한 작업에서는 실패할 수 있다. LLM이 이러한 작업을 풀도록 가르치기 위한 학습 예시를 마련하는 것은 어려울 수 있다. 본 연구에서는 의미적 비동치 게임(semantic inequivalence game, SInQ)에 기반해 코드 추론 학습 데이터를 합성적으로 생성하는 방법을 탐구한다. 생성자 에이전트는 실제 프로그래밍 과제 데이터셋에서 파생된, 의미적으로 구별되는 프로그램 변형을 만들고, 평가자 에이전트는 두 변형이 서로 다르게 동작하는 입력 예시를 찾아야 한다. 에이전트들은 준적대적으로(semi-adversarially) 서로를 학습시키며 코드의 기저 논리를 이해하는 능력을 향상시킨다. 우리는 코드 생성 및 이해 벤치마크 여러 곳에서 접근법을 평가했으며, 여기에는 교차 언어 취약점 탐지(Lu et al., 2021)가 포함된다. 이 설정에서 우리 방법은 오직 Python 코드로만 학습했음에도 C/C++ 코드의 취약점 탐지를 개선하며, 까다로운 Python 내장 식별자 교체 벤치마크(Miceli Barone et al., 2023)에서는 최신 LLM이 여전히 이 벤치마크에서 어려움을 겪는 반면 우리 접근법이 상당한 개선을 보여준다. 실험 재현에 필요한 코드와 LLM 파인튜닝에 사용할 수 있는 생성된 합성 데이터를 공개한다.
Boosting Vulnerability Detection of LLMs via Curriculum Preference Optimization with Synthetic Reasoning Data
SV-TrustEval-C: Evaluating Structure and Semantic Reasoning in Large Language Models for Source Code Vulnerability Analysis
CRAKEN: Cybersecurity LLM Agent with Knowledge-Based Execution
Are Sparse Autoencoders Useful for Java Function Bug Detection?
Can You Really Trust Code Copilots? Evaluating Large Language Models from a Code Security Perspective
토론
이 논문과 연결된 포럼 글이 아직 없습니다.