대규모 언어 모델(LLM) 기반 에이전트는 명령 실행, 파일 시스템 접근, 네트워크 통신, 브라우저 제어 및 외부 도구와 같은 보안에 민감한 소프트웨어 기능에 모델이 생성한 결정을 점점 더 많이 연결하고 있습니다. 기존 분석은 사전 정의된 민감 연산을 앵커로 사용하는 경우가 많지만, 연산의 식별 정보 자체만으로는 보안 영향을 판단하기에 불충분합니다. 본 논문에서는 보안에 민감한 각 연산에 대해 후보 중심의 보안 인식 에이전트 의존성 그래프(Security-ADG)를 구축하는 보안 인식 정적 분석 프레임워크인 AgentSecGraph를 제시합니다. 이는 연산 식별 정보에 에이전트 연관성, 소스 및 의존성 증거, 신뢰 경계(trust-boundary) 컨텍스트, 가드 증거, 외부 영향 시맨틱을 보강합니다. 나아가 11개 생태계와 37,542개 소스 파일에 걸친 67개의 실제 LLM 에이전트 저장소 코퍼스인 AgentSecBench를 소개합니다. 현재 분석기는 65개 저장소에서 23,866개의 정적 보안 민감 연산 후보를 식별하고 후보당 하나의 Security-ADG 아티팩트를 출력합니다. 전체 코퍼스 분석 결과 9,821개 후보(41.15%)에 대해 소스-연산 간 의존성 증거를, 3,075개(12.88%)에 대해 잠재적 가드 증거를 복원하였으며, 분석은 50.8분 만에 완료되었습니다. 재현 기반의 별도 평가 층(layer)을 통해 13개 저장소에 걸쳐 22개의 보안 민감 동작(확인된 취약점 1건, 공개 대기 후보 1건, 가드된 동작 20건)을 규명했습니다. 9개의 홀드아웃(held-out) 사례에서 Security-ADG는 싱크 전용(sink-only) 뷰가 20.0%, 단순화된 ADG가 40.0%인 것에 비해 기준 컨텍스트의 91.1%와 관찰된 5개의 가드를 모두 보존했습니다. 이러한 결과는 보안 인식 의존성 및 문맥적 증거를 통해 민감 연산 식별 정보 자체만으로는 포착할 수 없는 차이를 구분할 수 있음을 보여줍니다.
AI 코딩 어시스턴트는 프로덕션 소프트웨어의 공동 작성자가 되어 가고 있으나, 평가는 기능적 정확성에 집중되어 있어 생명주기 비용을 좌우하는 품질 차원에서 그 코드가 인간 코드와 다른지는 여전히 열려 있다. 본 연구는 인간 작성 코드와 AI 생성 코드를 대규모로 비교한다. Python, Java, C에 걸친 787,562개의 함수 쌍으로, 각 인간 함수는 오픈소스 저장소에서 추출했고, 동일 docstring으로 세 AI 어시스턴트(OpenAI GPT 모델, DeepSeek-Coder, Qwen2.5-Coder)가 생성한 구현과 짝을 이룬다. 구조적 복잡도와 통계적 자연스러움(naturalness)을 특성화하고, 정적 분석 결과를 결함에는 Orthogonal Defect Classification, 취약점에는 Common Weakness Enumeration에 매핑하여 작성자와 언어를 직접 비교 가능하게 했다. AI 생성 코드는 구조적으로 압축되고 스타일적으로 템플릿화되어 있다. 대략 인간 코드의 절반 크기와 분기 수이며, 스타일 수준에서 별도로 클러스터링된다. 결함 프로파일은 종류가 다르다. 인간 코드는 성숙한 코드베이스의 이슈에 집중하고, AI 코드는 반복적 보일러플레이트에 집중한다. 보안은 언어에 따라 달라지며, LLM은 Python과 Java에서 더 많고 더 심각한 발견을 내지만 C에서는 인간보다 고심각도 메모리 안전성 발견은 적다. 크기를 통제하면 복잡도 지표는 신호가 거의 없고, naturalness가 작성자를 구분한다. 마지막으로 품질 보증과 보안 테스트를 위한 베이스라인 및 평가 파이프라인을 갖춘, 이슈 발생 가능 작업 27,346개로 구성된 벤치마크 CQBench를 공개한다.
대규모 언어 모델(LLM)은 자연어 설명으로부터 C 코드를 생성할 수 있지만, 그 결과 프로그램에는 보안 취약점과 컴파일 오류가 자주 포함되어 임베디드 및 자원 제약 시스템에 위험을 초래한다. 본 연구는 피드백과 검색(retrieval)이 LLM 생성 C 코드의 신뢰성을 어떻게 향상시키는지 조사한다. 우리는 컴파일 진단, CodeQL 정적 분석, KLEE 기호 실행을 결합하고, 반복적 정제를 위해 이전 수리 패턴의 검색을 함께 사용하는 분석-수리 워크플로를 제시한다. 임베디드 관련 취약점을 다루는 5,000개의 C 프로그래밍 과제에서 평가한 결과, 기준선 모델은 컴파일 실패율이 최대 46%, 보안 결함율이 최대 49%에 이르는 상당한 신뢰성 격차를 보인다. 우리의 접근법은 두 지표 모두를 개선한다. CodeLlama 7B의 경우, 보안 결함율은 49%에서 19%로 감소하고 CodeQL 오류 총계는 15,088에서 2,463으로(83.7% 감소) 줄어든다. DeepSeek Coder 1.3B의 경우, 컴파일 실패는 42%에서 22%로, 보안 결함은 35%에서 15%로 줄어든다. 이 결과는 경량 분석 도구를 통합하면 임베디드 개발을 위한 LLM 생성 코드의 안전성을 향상시킬 수 있음을 보여준다.
현대 AI 에이전트의 능력은 기반 모델뿐 아니라 프롬프트를 구성하고, 상태를 관리하며, 도구를 호출하고, 실행을 조율하는 하네스(harness)에도 달려 있다. 모델, API, 환경, 요구사항이 변함에 따라 하네스도 지속적으로 수정되어야 한다. 이러한 변경을 수행하기 전에 개발자나 코딩 에이전트는 목표 동작을 구현하는 모든 코드 위치를 식별해야 한다. 이는 프로덕션 하네스가 크고 긴밀하게 결합되어 있으며 동작이 분산되어 있는 반면, 수정 요청은 시스템이 무엇을 해야 하는지를 기술하고 저장소는 파일과 모듈 단위로 구성되어 있기 때문에 어렵다. 코드 검색, 저장소 인덱싱, 긴 컨텍스트 처리는 검토를 용이하게 하지만, 여전히 이러한 동작-코드 매핑을 수작업으로 복원해야 한다. 따라서 동작 위치 파악(behavior localization)은 하네스 진화의 핵심 병목이다.
우리는 Harness Handbook을 제안한다. 이는 정적 분석과 LLM 지원 구조화를 통해 하네스 코드베이스로부터 자동으로 합성되는 동작 중심 표현으로, 각 동작을 해당 소스와 연결한다. 또한 Behavior-Guided Progressive Disclosure(BGPD)를 제안한다. 이는 에이전트를 고수준 동작에서 관련 구현 세부사항으로 안내하고 후보 위치를 현재 소스와 대조하여 검증한다. 두 개의 오픈 소스 하네스에 대한 다양한 수정 요청에서 Handbook-Assisted 계획은 더 적은 플래너 토큰을 사용하면서 동작 위치 파악과 편집 계획 품질을 개선하며, 가장 큰 이득은 분산된 위치, 드물게 실행되는 경로, 모듈 간 상호작용에서 나타난다. 따라서 복잡한 에이전트 시스템의 진화는 편집을 생성하는 것뿐 아니라 그 편집이 어디에 적용되어야 하는지를 결정하는 것에도 달려 있다.
디지털 시대에 PDF(Portable Document Format)는 플랫폼 독립성과 풍부한 기능성 덕분에 디지털 문서의 저장 및 교환에 가장 널리 사용되는 파일 형식 중 하나이다. 그러나 이러한 특성은 동시에 PDF 파일을 사이버 공격자들에게 매력적인 공격 벡터로 만들었으며, 공격자들은 겉으로는 정상적으로 보이는 문서 내에 악성 코드를 삽입하여 대상 시스템을 침해한다. 본 논문은 PDF 악성코드 탐지를 위한 새로운 해석 가능한 Tsetlin Machine(TM) 기반 프레임워크를 제안한다. 제안된 프레임워크는 파일을 실행하지 않고 정적 분석을 통해 PDF 문서에서 주요 특징을 추출하고, 규칙 기반 학습을 적용하여 정상 및 악성 PDF 문서를 정확하게 분류한다. RIT-PDFMal-2026 데이터셋에 대한 수치 평가 결과, 제안된 프레임워크는 여러 ML 분류기 및 기존 방법과 비교하여 98.02%의 정확도를 달성하며 경쟁력 있는 성능을 보인다. 또한 제안된 프레임워크는 분류 결정을 투명하게 설명함으로써 본질적인 해석 가능성을 제공한다. 경쟁력 있는 탐지 성능, 계산 효율성, 그리고 본질적인 해석 가능성의 조합은 제안된 프레임워크를 실용적인 PDF 악성코드 탐지를 위한 유망한 솔루션으로 만든다.
LLM이 생성한 코드는 컴파일되고 테스트를 통과하며 올바르게 보이지만, 배포 후 오류가 발생하는 경우가 많다. 근본 원인은 논리적인 문제이기보다는 구조적인 문제인 경우가 많다. 생성된 엔드포인트가 프로젝트에서 선언된 적 없는 설정 키를 참조하거나, 임포트가 어떤 레지스트리에도 존재하지 않는 패키지를 대상으로 하거나, 새로운 라우트가 모든 형제 엔드포인트에 적용된 인증 가드를 누락하는 경우가 그 예이다. 각 패치는 지역적으로는 유효하지만 전역적으로는 일관성이 없으며, 표준 CI 툴체인은 이러한 실패를 거의 식별하지 못한다. LLM 기반 코딩 도구가 널리 채택됨에 따라, 이 맹점은 소프트웨어 품질에 대한 위험으로 점점 커지고 있다. 우리는 이를 \textbf{패치워크 문제}라고 부른다. 이 논문은 임포트, 호출, 의존성, 설정, 스키마, 리소스, 제어 흐름, 라우팅 그래프를 포함한 저장소 아티팩트의 그래프 표현에 대한 일관성 불변식으로서 구조적 일관성을 형식화하고, LLM 생성에 특정한 결함과 단순히 LLM에 의해 증폭된 결함을 구분하는 8가지 범주의 실패 분류 체계를 도입한다. 우리는 기존 툴체인에서 충분히 지원되지 않는 교차 관심사 불변식에 대해 전용 탐지기를 배포하는 한편, 성숙한 정적 분석 도구가 이미 탁월한 영역에서는 이를 활용하는 하이브리드 검증 프레임워크를 제시하며, 발견적 패턴 매칭이 아닌 증명 가능한 제약 위반을 목표로 한다. 네 가지 프롬프팅 전략 하에서 두 프론티어 모델에 대한 실증 평가 결과, 구조적 실패의 대다수가 타입 검사, 테스트, SAST를 완전히 회피하며, 실패 패턴이 모델 간 질적으로 상이하게 나타나 모델 무관(model-agnostic) 완화 전략에 도전을 제기하는 것으로 드러났다. 실제 AI 생성 저장소에 대한 외부 검증을 통해 이러한 실패가 통제된 실험의 인공물이 아니라 LLM이 최소한의 인간 감독 하에 코드를 작성하는 모든 환경에서 만연하다는 것이 확인되었다.
2,786개의 Java 메서드를 대상으로 33개의 정적 특성과 실행 시간을 함께 수집하여 11가지 회귀 모델을 학습한 결과, 정적 소스 코드 메트릭만으로는 에너지 소비량 예측 성능이 R²≈0에 가까울 정도로 미흡했으나, 실행 시간을 경량 동적 입력으로 추가하면 R²가 최대 0.46까지 향상됨을 확인했다. 실행 시간, 내부 메서드 호출 수, 순환 복잡도(cyclomatic complexity)가 에너지 소비의 가장 강력한 예측 변수로 나타났으며, 메서드 수준의 에너지 추정에는 소스 구조보다 런타임 동작이 지배적임을 보였다.
Vulnerability detection in C/C++ software remains a major security challenge due to code complexity, manual memory management, and the limitations of traditional static analysis. Reinforcement Learning (RL) has emerged as a promising approach, particularly for fuzzing, test generation, program exploration, and, more recently, vulnerability detection and localization. Following PRISMA 2020 guidelines, this work reviews RL techniques for software vulnerability analysis, focusing on C/C++ source code and static analysis. We identified 21 primary studies published between 2015 and 2026 from major scientific databases and complementary searches. We analyze the addressed tasks, algorithms, state-action-reward-environment formulations, code representations, datasets, and evaluation metrics. Results show that 15 studies focus on fuzzing and guided exploration, only 3 on direct vulnerability detection, and just 1 on statement-level localization. Moreover, statically extracted structural representations such as Control Flow Graphs (CFGs) and Abstract Syntax Trees (ASTs) are rarely used as agent states, and benchmarks lack comparability. We propose a task- and formulation-oriented taxonomy and identify a key research gap: the absence of RL agents that use source-code CFGs as states to detect and localize vulnerable nodes.
LLM이 Terraform 보안 설정을 자동 수정할 때 정적 분석 결과만 사라지면 성공으로 보면 실제 보안 의도 충족 여부를 놓칠 수 있어, TerraProbe는 계획 유효성·동작 비교·인간 판정 등 5층 오라클로 LLM 지원 수정을 평가하는 프레임워크를 제안한다. gemini-2.5-flash-lite, GPT-4o, Claude 3.5 Sonnet이 생성한 288건 1차 수정에서 대상 Checkov 제거율은 83.3%였지만 계획 비교가 가능했던 실제 사례의 71.4%는 자동 검사를 통과하면서도 근본 취약점을 남긴 기만적 수정이었고, 이 비율은 세 모델 간 통계적으로 유의한 차이가 없었다.
Jupyter Notebooks are an increasingly popular coding environment used across many domains, especially in Python-based data science and scientific computing. Originally used for prototyping and interactive exploration, notebooks are increasingly used to develop more complex programs, leading to a rapid rise in buggy notebooks on platforms like GitHub. To address this trend, we present JupOtter, a bug detection system designed specifically for Jupyter Notebooks. JupOtter features three novel contributions: (1) a notebook-specific tokenization strategy that preserves cell structure, (2) a cell-level bug prediction technique, and (3) a new labeled dataset, OtterDataset, containing over 21,000 notebooks annotated for fine-grained cell-level bug detection. JupOtter achieves cell-level bug detection F1 scores that surpass static analyzers and large language models in two out of three evaluation datasets.
Verilog debugging remains one of the most time-consuming stages in digital circuit design. Recent advances in Large Language Models (LLMs) have enabled automated debugging; however, most existing approaches rely solely on test outputs and compiler feedback in an end-to-end manner, limiting their effectiveness on complex bugs. A key challenge is that the root cause of an error may be far removed from its observable outputs, making it difficult for LLMs to trace long dependency chains in code. This challenge is further exacerbated in large codebases, where long context lengths hinder efficient reasoning. To address these limitations, we propose VeriPilot, an LLM-powered debugging framework that leverages golden reference models to enable fine-grained bug localization and repair. VeriPilot goes beyond output-level comparison by aligning internal variable semantics between the Verilog design and its corresponding golden model through LLM-based analysis. It then performs step-by-step signal tracing using Control-Data-Flow Graphs (CDFGs) derived from static analysis, identifying a minimal set of suspicious code regions along with their correct counterparts from the golden model. These structured insights are subsequently provided to the LLM to guide reasoning and automated code repair. Experimental results on the Comprehensive Verilog Design Problems (CVDP) benchmark from NVIDIA demonstrate that VeriPilot improves the repair success rate of GPT-4o from 54.3\% to 85.71\%, significantly enhancing both bug localization accuracy and repair effectiveness for complex Verilog designs. The source code and benchmark are publicly available at Github https://github.com/YihanWn/VeriPilot.git.
C 프로그램에 대한 형식 명세 생성은 수동 작업, 전문성, 의미적 정밀도가 요구되어 형식 검증에서 여전히 어려운 과제로 남아 있다. 최근 대규모 언어 모델(LLM)의 발전은 명세 합성 자동화에 가능성을 제공하지만, 현재 접근법은 종종 의미적 깊이가 부족하고 검증 불가능하거나 불완전한 계약을 생성한다. 이러한 한계를 해결하기 위해, LLM 프롬프팅과 코드 속성 그래프(CPG)에서 추출한 의미적 특징을 통합하는 새로운 프레임워크인 AutoACSL을 제안한다. AutoACSL은 정적 분석을 수행하여 산술 연산, 루프 및 재귀 구조, 반환값 전파를 포함한 핵심 의미 요소를 추출하고, 이를 구조화된 프롬프트로 인코딩한다. 이러한 프롬프트는 LLM이 일반적인 동작 명세뿐 아니라 런타임 오류를 유발하는 입력을 방지하는 제약까지 생성할 수 있게 한다. AutoACSL은 후보 명세를 Frama-C/WP로 검증하고 검증에 성공하거나 종료 조건이 충족될 때까지 반복적으로 정제하는 피드백 기반 합성 루프를 사용한다. 다양한 데이터셋에서 추출한 604개 프로그램에서 평가한 결과, AutoACSL은 Gemini-3와 결합했을 때 98%의 명세 생성 성공률과 96%의 완전 증명률을 달성했다. 코드 전용 기준선과 비교하면, AutoACSL은 네 가지 LLM(GPT-o4 Mini, GPT-5.2, Grok-4.1, Gemini-3)에서 완전 증명률을 24.7%에서 51.7%까지 향상시켰으며, CPG 기반 정적 분석과 대규모 언어 모델의 통합이 자동 ACSL 명세 합성에서 생성 견고성과 검증 효과를 모두 크게 향상시킴을 보여준다.
대규모 코드베이스에서의 자동화된 취약점 발견은 여전히 어려운 과제입니다. 전통적인 정적 분석은 높은 오탐율을 생성하고, 퍼징(fuzzing)과 같은 동적 접근법은 상당한 인프라를 필요로 하며 종종 좁은 범위의 버그만을 대상으로 합니다. 대규모 언어 모델(LLM)의 최근 발전은 프로그램 동작에 대한 의미론적 추론을 가능하게 하지만, 저장소 규모의 보안 분석에 LLM을 적용하는 것은 컨텍스트 관리, 비용, 검증과 관련된 문제를 야기합니다. 우리는 정적 프로그램 분석을 다단계 파이프라인에서 LLM 기반 추론과 통합하는 오픈소스 취약점 발견 시스템인 OpenAnt를 소개합니다. OpenAnt는 세 가지 핵심 기술을 도입합니다. 첫째, 코드베이스는 외부 진입점으로부터의 도달 가능성에 따라 필터링된 자체 포함 분석 단위로 분해되어, 공격 관련 코드를 보존하면서 분석 대상 범위를 최대 97%까지 감소시킵니다. 둘째, 후보 취약점은 제한된 공격자 시뮬레이션을 통해 적대적 검증을 거치며, 여기서 모델은 현실적인 공격자 능력 하에서 악용 가능성을 평가합니다. 셋째, 발견 사항은 동적 검증을 통해 검증되며, 여기서 익스플로잇 환경은 자동으로 생성되고 샌드박스 컨테이너에서 실행된 후 사용 후 폐기됩니다. OpenSSL, WordPress, Flowise를 포함한 널리 사용되는 오픈소스 프로젝트에 대한 평가 결과, 이 아키텍처는 관리 가능한 분석 비용을 유지하고 오탐을 실질적으로 줄이면서 이전에 알려지지 않은 취약점을 식별할 수 있음을 보여줍니다. 우리의 결과는 의미론적 추론과 익스플로잇 검증을 결합한 폐루프(closed-loop) 취약점 발견 파이프라인이 확장 가능한 자동화된 보안 분석을 위한 실용적인 경로를 제공함을 시사합니다. OpenAnt는 Apache 2.0 라이선스 하에 https://github.com/knostic/OpenAnt에서 오픈소스로 공개됩니다.