arXiv:2412.11194

SoK: On Closing the Applicability Gap in Automated Vulnerability Detection

Ezzeldin Shereen, Dan Ristea, Sanyam Vyas, Shae McFadden, Madeleine Dwyer, Chris Hicks, Vasilios Mavroudis

제출 2024-12-15

원문 초록

The frequent discovery of security vulnerabilities in both open-source and proprietary software underscores the urgent need for earlier detection during the development lifecycle. Initiatives such as DARPA's Artificial Intelligence Cyber Challenge (AIxCC) aim to accelerate Automated Vulnerability Detection (AVD), seeking to address this challenge by autonomously analyzing source code to identify vulnerabilities. This paper addresses two primary research questions: (RQ1) How is current AVD research distributed across its core components? (RQ2) What key areas should future research target to bridge the gap in the practical applicability of AVD throughout software development? To answer these questions, we conduct a systematization over 79 AVD articles and 17 empirical studies, analyzing them across five core components: task formulation and granularity, input programming languages and representations, detection approaches and key solutions, evaluation metrics and datasets, and reported performance. Our systematization reveals that the narrow focus of AVD research-mainly on specific tasks and programming languages-limits its practical impact and overlooks broader areas crucial for effective, real-world vulnerability detection. We identify significant challenges, including the need for diversified problem formulations, varied detection granularities, broader language support, better dataset quality, enhanced reproducibility, and increased practical impact. Based on these findings we identify research directions that will enhance the effectiveness and applicability of AVD solutions in software security.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.03818v3cs.LG공통 태그 Vulnerability Detection공식 코드 · Papers with Code

대규모 언어 모델을 이용한 프로그램 의미적 비동치 게임

Program Semantic Inequivalence Game with Large Language Models

대규모 언어 모델(LLM)은 일상적인 코딩 작업에서 강한 성능을 낼 수 있지만, 프로그램 의미에 대한 비자명한(non-trivial) 추론을 요구하는 복잡한 작업에서는 실패할 수 있다. LLM이 이러한 작업을 풀도록 가르치기 위한 학습 예시를 마련하는 것은 어려울 수 있다. 본 연구에서는 의미적 비동치 게임(semantic inequivalence game, SInQ)에 기반해 코드 추론 학습 데이터를 합성적으로 생성하는 방법을 탐구한다. 생성자 에이전트는 실제 프로그래밍 과제 데이터셋에서 파생된, 의미적으로 구별되는 프로그램 변형을 만들고, 평가자 에이전트는 두 변형이 서로 다르게 동작하는 입력 예시를 찾아야 한다. 에이전트들은 준적대적으로(semi-adversarially) 서로를 학습시키며 코드의 기저 논리를 이해하는 능력을 향상시킨다. 우리는 코드 생성 및 이해 벤치마크 여러 곳에서 접근법을 평가했으며, 여기에는 교차 언어 취약점 탐지(Lu et al., 2021)가 포함된다. 이 설정에서 우리 방법은 오직 Python 코드로만 학습했음에도 C/C++ 코드의 취약점 탐지를 개선하며, 까다로운 Python 내장 식별자 교체 벤치마크(Miceli Barone et al., 2023)에서는 최신 LLM이 여전히 이 벤치마크에서 어려움을 겪는 반면 우리 접근법이 상당한 개선을 보여준다. 실험 재현에 필요한 코드와 LLM 파인튜닝에 사용할 수 있는 생성된 합성 데이터를 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.