PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.12708v2cs.SE

나와 당신의 차이는 무엇인가? 인간 작성 코드와 AI 생성 코드 간 품질 격차 벤치마킹

What is the Difference Between Me and You? Benchmarking the Quality Gap Between Human-Written and AI-Generated Code

AI 코딩 어시스턴트는 프로덕션 소프트웨어의 공동 작성자가 되어 가고 있으나, 평가는 기능적 정확성에 집중되어 있어 생명주기 비용을 좌우하는 품질 차원에서 그 코드가 인간 코드와 다른지는 여전히 열려 있다. 본 연구는 인간 작성 코드와 AI 생성 코드를 대규모로 비교한다. Python, Java, C에 걸친 787,562개의 함수 쌍으로, 각 인간 함수는 오픈소스 저장소에서 추출했고, 동일 docstring으로 세 AI 어시스턴트(OpenAI GPT 모델, DeepSeek-Coder, Qwen2.5-Coder)가 생성한 구현과 짝을 이룬다. 구조적 복잡도와 통계적 자연스러움(naturalness)을 특성화하고, 정적 분석 결과를 결함에는 Orthogonal Defect Classification, 취약점에는 Common Weakness Enumeration에 매핑하여 작성자와 언어를 직접 비교 가능하게 했다. AI 생성 코드는 구조적으로 압축되고 스타일적으로 템플릿화되어 있다. 대략 인간 코드의 절반 크기와 분기 수이며, 스타일 수준에서 별도로 클러스터링된다. 결함 프로파일은 종류가 다르다. 인간 코드는 성숙한 코드베이스의 이슈에 집중하고, AI 코드는 반복적 보일러플레이트에 집중한다. 보안은 언어에 따라 달라지며, LLM은 Python과 Java에서 더 많고 더 심각한 발견을 내지만 C에서는 인간보다 고심각도 메모리 안전성 발견은 적다. 크기를 통제하면 복잡도 지표는 신호가 거의 없고, naturalness가 작성자를 구분한다. 마지막으로 품질 보증과 보안 테스트를 위한 베이스라인 및 평가 파이프라인을 갖춘, 이슈 발생 가능 작업 27,346개로 구성된 벤치마크 CQBench를 공개한다.

arXiv:2607.21641v1cs.SE

LLM 생성 C 코드 보안을 위한 도구 안내 검색-증강 수리

Tool-Guided Retrieval-Augmented Repair for Securing LLM-Generated C Code

대규모 언어 모델(LLM)은 자연어 설명으로부터 C 코드를 생성할 수 있지만, 그 결과 프로그램에는 보안 취약점과 컴파일 오류가 자주 포함되어 임베디드 및 자원 제약 시스템에 위험을 초래한다. 본 연구는 피드백과 검색(retrieval)이 LLM 생성 C 코드의 신뢰성을 어떻게 향상시키는지 조사한다. 우리는 컴파일 진단, CodeQL 정적 분석, KLEE 기호 실행을 결합하고, 반복적 정제를 위해 이전 수리 패턴의 검색을 함께 사용하는 분석-수리 워크플로를 제시한다. 임베디드 관련 취약점을 다루는 5,000개의 C 프로그래밍 과제에서 평가한 결과, 기준선 모델은 컴파일 실패율이 최대 46%, 보안 결함율이 최대 49%에 이르는 상당한 신뢰성 격차를 보인다. 우리의 접근법은 두 지표 모두를 개선한다. CodeLlama 7B의 경우, 보안 결함율은 49%에서 19%로 감소하고 CodeQL 오류 총계는 15,088에서 2,463으로(83.7% 감소) 줄어든다. DeepSeek Coder 1.3B의 경우, 컴파일 실패는 42%에서 22%로, 보안 결함은 35%에서 15%로 줄어든다. 이 결과는 경량 분석 도구를 통합하면 임베디드 개발을 위한 LLM 생성 코드의 안전성을 향상시킬 수 있음을 보여준다.

arXiv:2607.20759v1cs.CR

IssueTrojanBench: 악성 이슈 요청에 대한 AI 코딩 에이전트 벤치마크

IssueTrojanBench: Benchmarking AI Coding Agents Against Malicious Issue Requests

대규모 언어 모델(LLM) 기반 AI 코딩 에이전트는 실제 소프트웨어 개발에 점점 더 많이 통합되고 있으며, 로컬 파일과 도구에 자율적으로 접근하면서 코드를 생성·편집·실행한다. 코딩 에이전트는 LLM 백본과 에이전트형 아키텍처 양쪽에서 보안 위험을 물려받는다. LLM 백본에서는 적대적 프롬프트, 오염된 학습 데이터, 백도어 트리거가 모델이 안전하지 않거나 공격자가 선택한 코드를 출력하게 할 수 있고, 에이전트형 아키텍처에서는 도구 사용 자율성이 외부 API의 유도된 오용, 데이터 유출, 개발 환경의 지속적 침해를 가능하게 한다. 본 논문은 두 주요 모델 계열(OpenAI GPT-5.3 Codex/GPT-5.4 및 Anthropic Sonnet 4.6)로 구동되는 최신 코딩 에이전트(Cursor, Claude Code, Codex Desktop)에 대한 악성 이슈 요청의 체계적 평가를 제시한다. 우리의 새로운 벤치마크 IssueTrojanBench는 네 가지 새로운 공격 범주(즉, 이슈에 악성 지시로 내장), 여섯 가지 전달 벡터(예: PDF 또는 이슈 댓글)를 기반으로 구성된 악성 이슈를 포함하며, 추가로 교란으로 증강된다. 우리의 결과는 배포된 현대 코딩 에이전트의 심각한 취약점을 드러낸다. 즉, IssueTrojanBench의 악성 이슈 중 66.5%가 코딩 에이전트의 모든 가드레일(에이전트 및 LLM 수준)을 뚫는다. 추가 분석 결과, 거부는 에이전트 프레임워크보다 거의 전적으로 LLM에서 발생하며, GPT 모델은 광범위하게 취약하고 Sonnet 4.6은 고영향 행동에 대해 더 선별적이고 위험 인식적인 차단을 보인다. 우리의 평가는 또한 현재의 에이전트 수준 방어 전략이 코딩 에이전트에 추가적인 보호를 거의 제공하지 못함을 강조한다. 우리의 발견은 AI 코딩 에이전트를 보호하기 위한 더 강력한 에이전트 및 모델 수준 안전성(safety) 메커니즘의 시급한 필요성을 강조한다.

arXiv:2607.12058v1cs.SE

AutoTrace: 에이전트 기반 절차 간 탐험을 통한 패치에서 트리거까지

AutoTrace: From Patches to Triggers via Agentic Interprocedural Exploration

취약점 수정 커밋이 주어졌을 때, 트리거 위치 특정(trigger localization)은 어떤 특정 문(statement)이 취약한 프로그램 상태를 구체적인 불안전 연산으로 전환시키는지를 묻는다. 이 문제는 이진 취약점 탐지보다 더 어렵다. 답은 절차 간, 인과적 추론을 요구하기 때문이다. 실제 CVE의 상당 부분에서 트리거 문은 패치된 함수 바깥 여러 호출 층에 위치하며, 정적 규칙 집합과 패턴 매칭 언어 모델 모두의 범위를 벗어난다. 우리는 AutoTrace를 제시한다. 이는 코드 속성 그래프(code property graph)를 층별로 탐험하여 취약점 트리거를 특정하는 에이전트 기반 파이프라인이다. LLM 에이전트가 다음에 어디를 살펴볼지 결정하고, 결정론적 허용 가능성 게이트(deterministic admissibility gates)가 트리거를 보고하기 전에 어떤 증거가 필요한지 결정한다. 에이전트는 자체 권한으로 트리거를 받아들이지 않으며, 보고된 모든 트리거는 그래프에서 도출된 명시적 증거에 의해 뒷받침된다. 따라서 파이프라인은 근거 없는 모델 판단에 의존하지 않고 절차 내 및 절차 간 취약점을 모두 다룬다. 전체 InterPVD 벤치마크에서 AutoTrace는 75.0% VulnHit 및 80.8% FuncHit를 달성하여, 동일한 코퍼스에서 이전 최신 기술(state of the art)을 능가한다. 동일한 메커니즘을 기반으로, 우리는 SinkTrace-Bench를 구축한다. 이 데이터셋은 각 취약점을 공격자 제어 입력에서 전파(propagation)를 거쳐 위험한 연산까지 이어지는 source-to-sink(S2S) 인과 사슬로 드러내며, 매칭된 취약 및 패치된 프로그램 상태에서 추출된다. 이는 검증자 확인(verifier-confirmed) 1,542개의 완벽하게 균형 잡힌 취약/안전 샘플로 구성되며, 라벨 충실도는 전문가 주석에 대해 감사(audit)했다. 이를 통해 최첨단 LLM을 벤치마킹한 결과, 가장 강력한 모델조차 매칭된 쌍을 구분하는 데 어려움을 겪는 것을 발견하며, 트리거 위치 특정이 겨냥하는 인과 추론 격차를 드러낸다. 아티팩트는 https://github.com/Erroristotle/AutoTrace 에서 이용할 수 있다.

arXiv:2607.05842v1cs.SE

거부를 넘어서: 취약점 분석을 위한 정렬 및 어블리터레이티드 LLM의 동일 계보 연구

Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis

동일 계보 모델(Gemma, Qwen)에서 안전성 정렬 상태(Aligned)와 거부 제거 상태(Abliterated)를 비교해 취약점 탐지·위치 파악·패치 검증 등 소프트웨어 보안 워크플로우 전반의 방어적 유용성을 측정한 연구로, 거부율만으로는 평가가 불충분하며 응답 커버리지·정확도·실행 가능성을 함께 측정해야 함을 보인다. Abliterated 모델이 Vul4J 패치 검증에서 컴파일 성공률 32.8% 대 9.0%, Qwen 라인 수준 F1에서 3.91% 대 2.08%로 코드 기반의 심층 작업에서 우위를 보인 반면, 정렬 모델은 일부 고수준 분류 작업에서 여전히 강점을 유지했다.

arXiv:2605.17450v2cs.SE

ContraFix: Skill-Enhanced Contrastive Runtime Analysis for Vulnerability Repair

ContraFix는 취약점 자동 수리(AVR)를 위한 에이전트 프레임워크로, 단일 실패 PoC(Proof of Concept)에서 실패하는 변형과 실패하지 않는 변형을 생성해 런타임 상태를 대조 분석함으로써 패치 경계를 추론한다. SEC-Bench에서 GPT-5-mini 기반으로 92.0%의 해결률을 달성했으며, 의미론적 정확도는 최강 기준선(31.3%) 대비 58.2%로 크게 향상되었다.

arXiv:2606.25973v1cs.SE

Helpful or Harmful? Evaluating LLM-Assisted Vulnerability Patching via a Human Study

Software vulnerability remediation is a cognitively demanding task that requires specialized security expertise often lacking in general developers. In the meantime, Large Language Models (LLMs) assisted tools show potential in vulnerability detection, location, and repair tasks. [Hypothesis:] While LLM-assistance is hypothesized to accelerate patching, it also risks introducing hallucinations or insecure code, leading to a higher likelihood of generating superficial repairs that bypass the standard functionality checks but fail the security validation. [Objective:] We aim to present an empirical experiment, unveiling the capability of LLM-assisted vulnerability patching compared to manual debugging on human participants in real-world scenarios. [Method:] We plan to conduct a controlled experiment using a Balanced Crossover design. For that, we have developed a WebApp for code execution and integrated hidden Ghost Tests to verify patch integrity beyond visible functional requirements. The experiment involves training and evaluation scenarios. The remediation speed, remediation efficacy for both standard functionality tests and security tests, and participant perception will be evaluated. [Pilot Study:] A pilot experiment with a small sample of participants has been conducted, providing insights for the following study.