PyTorchKR Papers

최신 논문

총 51편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10633v1cs.SE

소프트웨어 공학 체계적 문헌고찰에서 LLM의 스크리닝 성능은 정체되었는가?

Has LLM Screening Performance Stalled in Software Engineering Systematic Reviews?

체계적 문헌고찰(SR)에서의 스크리닝(선별) 작업은 수작업으로 이루어지며 많은 시간이 소요됩니다. 이전 연구들에서는 이 단계를 자동화하기 위해 대규모 언어 모델(LLM)을 활용하는 방안을 탐색했으나, LLM이 빠르게 발전하고 있어 초기 성능에 대한 주장이 현재의 스크리닝 성능을 더 이상 정확하게 반영하지 못할 수 있습니다. 본 연구에서는 기존의 소프트웨어 공학 SR 스크리닝 벤치마크(SESR-Eval)를 데이터로 사용했습니다. 또한 더 낮은 비용으로 평가를 수행할 수 있도록 검정력 표본추출(power-sampled)을 적용한 더 작은 신규 데이터셋(SESR-Eval-Mini)을 구축했습니다. 이 데이터를 활용해 8개의 최신 LLM을 대상으로 스크리닝 성능을 평가했습니다. 아울러 다양한 프롬프트를 테스트하고, 스크리닝 결정 및 기준에 대한 LLM 간 일치도를 분석했으며, 포함 및 제외 기준의 세분화가 스크리닝 성능에 미치는 영향을 조사했습니다. 8개의 최신 LLM은 기존 7개 모델에 비해 미미하게 향상된 성능을 보였습니다(2차 연구 전반의 평균 MCC는 0.347에서 0.365로 상승). 2차 연구 간의 성능 차이는 여전히 LLM 간의 차이보다 컸습니다. 개별 기준 수준의 결정으로부터 전반적인 스크리닝 결정을 도출하는 방식은 스크리닝 성능을 아주 약간만 저하시켰습니다. LLM들은 해당하는 스크리닝 결정에서 전반적으로 서로 높은 일치도를 보였으나(평균 Gwet의 AC1 = 0.830), 특정 포함 및 제외 기준에서는 상대적으로 더 큰 불일치를 나타냈습니다. 포함 및 제외 기준을 구체화하자 재현율(recall)이 소폭 향상되고 일부 LLM의 결정이 더 용이해졌지만, 기준 세분화의 전반적인 영향은 크지 않았습니다. LLM은 아직 논문 스크리닝에서 인간을 대체할 준비가 되지 않았으며, 더 많은 비용이 드는 최신 모델이 가져다주는 이점 또한 매우 제한적인 것으로 보입니다. 에이전트 기반 접근법, 프롬프트 엔지니어링, 그리고 추가적인 기준 세분화가 잠재적인 세 가지 향후 연구 방향입니다.

arXiv:2607.00711v2cs.SE

ClarifyCodeBench: 코드 생성을 위한 모호한 요구사항 명확화 능력에 대한 대규모 언어 모델(LLM) 평가

ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation

대규모 언어 모델(LLM)이 프로그래밍 보조 도구로 부상했습니다. 그러나 코드 생성의 효용성은 입력 요구사항의 품질에 의해 제약을 받으며, 이러한 요구사항은 종종 모호하거나 불완전하거나 덜 명시적(underspecified)입니다. LLM은 원샷(one-shot) 코드 합성에는 뛰어나지만, 견고한 소프트웨어 공학에 필수적인 특성인 의도를 능동적으로 명확히 하는 능력은 여전히 충분히 탐구되지 않았습니다. 기존 벤치마크는 완벽하게 명시된 프롬프트를 가정하여 이러한 상호작용 병목 현상을 대체로 간과하고 있으며, 이는 요구사항 도출의 반복적인 특성을 반영하지 못합니다. 이러한 격차를 해소하기 위해, 본 연구에서는 요구사항의 모호성을 해결하는 LLM의 능력을 평가하는 새로운 상호작용형 벤치마크인 ClarifyCodeBench를 소개합니다. 실제 프로그래밍 작업으로부터 구축된 ClarifyCodeBench는 N개의 고유한 모호성 유형, 관련 명확화 질문 및 이에 해당하는 정답(ground-truth)을 포함한 고품질의 수동 주석을 특징으로 합니다. 또한 상호작용 품질을 평가하기 위한 두 가지 엄밀한 지표를 공식화합니다. 비효율적인 질문에 페널티를 부여하는 턴 할인 핵심 질문 비율(Turn-discounted Key Question Rate)과 도출 과정의 정밀도를 측정하는 최적 라운드 준수도(Optimal Round Adherence)입니다. 본 연구는 ClarifyCodeBench를 사용하여 6개의 최첨단 LLM에 대한 체계적인 평가를 수행했습니다. 실증적 결과는 세 가지 중요한 통찰을 제공합니다. 1) 역량의 분리(Capability Decoupling): 강력한 코드 생성 성능이 효과적인 요구사항 명확화 능력으로 직결되지는 않습니다. 2) 추론의 역설(Reasoning Paradox): 컴퓨팅 사고력이 향상되면 코드 정확도는 높아지지만 모호성을 식별하는 데에는 미미한 이점만을 제공합니다. 3) 다중 모호성의 한계(Multi-ambiguity Ceiling): 모호성의 밀도가 높아질수록 LLM의 명확화 성능이 급격히 저하되어 복잡한 실제 명세를 처리하는 데 상당한 병목 현상이 있음을 드러냅니다. 본 연구는 향후 AI4SE 연구가 정적 합성에서 상호작용적 도출로 전환되어야 할 필요성을 강조합니다.

arXiv:2609.28449v1cs.SE

LLM은 런타임 동작을 추론할 수 있는가? 저장소 수준의 동적 벤치마크

Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark

대규모 언어 모델(LLM)은 코딩 작업에 점점 더 많이 사용되고 있지만, 코드 실행에 대해 추론하는 능력은 여전히 불분명하다. 기존의 저장소 수준 QA 벤치마크는 주로 정적 코드 이해를 평가하며 LLM 기반 평가에 의존하는 경우가 많고, 실행 추론 벤치마크는 대부분 코드 스니펫이나 함수 수준에 국한되어 있다. 본 논문에서는 동적 실행 추론을 위한 저장소 수준 벤치마크인 SWE-Flux를 소개한다. SWE-Flux는 실제 Python 저장소 12개에 걸쳐 실행에 근거한(execution-grounded) 인스턴스 480개를 포함하며, 정답은 수작업으로 작성하거나 LLM으로 판정하는 대신 계측(instrumented)된 테스트 실행에서 자동으로 수집된다. 이 벤치마크는 제어 흐름, 루프, 프로그램 상태, 데이터플로우, 예외, 프로그램 불변식(invariant)에 대한 단일 테스트 및 다중 테스트 질문을 다룬다. 다섯 개의 LLM을 평가한 결과, 이 작업은 여전히 어려운 것으로 나타났다. 가장 우수한 모델도 정확도가 37%에 불과하다. 모델은 불변식, 프로시저 내(intra-procedural) 제어 흐름, 예외, 단순한 루프와 같은 국소적 동작에서는 더 나은 성능을 보이지만, 데이터플로우, 프로시저 간(inter-procedural) 실행, 정밀한 상태 추론, 테스트 스위트 수준의 집계에서는 어려움을 겪는다. 마지막으로, 오라클 수집 파이프라인이 입력 교란(input perturbation)을 사용하여 새로운 벤치마크 변형을 생성할 수 있음을 보인다. 이 파이프라인은 선택된 인스턴스의 거의 90%에 대해 유효한 변형을 성공적으로 수집하며, 그 결과 생성된 변형은 평가 대상 모델들에게 훨씬 더 어렵다.

arXiv:2609.21190v2cs.LG

SWE-Proof: 언어 모델이 기계 검증 증명으로 실세계 이슈를 해결할 수 있는가?

SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs?

LLM이 생성한 코드의 정확성을 보장하는 것은 현대 소프트웨어 공학의 핵심 과제이다. 에이전트 기반 코드 생성 벤치마크는 홀드아웃 테스트 스위트로 정확성을 검사하지만, 이는 본질적으로 불완전하고 점점 암기(memorization)에 취약해지고 있다. 형식 검증(formal verification)은 두 문제를 모두 피할 수 있으나, 기존 연구는 입력으로 명세가 주어진 독립형 작업만 다루며, 대규모 저장소를 건드리고 의도를 모호한 자연어로 표현하는 실제 이슈는 다루지 않는다. 우리는 알려진 올바른 패치가 있는 코딩 과제를 형식적으로 검증된 과제로 바꾸는 파이프라인 Benchproofer를 제시한다. 새 코드에 대한 명세(specification)를 작성하고, 그 코드가 호출하는 기존 함수들을 공리(axiom)로 요약하며, 기계적·적대적 게이트가 일치할 때만 인스턴스를 채택한다. SWE-bench Verified에 적용하면 테스트가 아닌 형식 검증으로 정확성이 입증된 500개의 실제 이슈인 SWE-Proof가 만들어지며, SWE-bench Pro로도 확장된다. Claude Opus 4.8을 평가한 결과, 검증은 테스트가 놓치는 것을 잡아낸다. 테스트를 통과한 패치의 4분의 1이 반례(counterexample)를 허용하며, 구조화된 자연어 명세는 이를 고치지 못하지만 올바른 형식 명세는 해결률을 85%에서 95%로 끌어올린다. 그 명세를 작성하는 것이 어려운 부분이다. 스스로 명세를 써야 하는 에이전트는 돕지 않은 기준선보다 이득이 없으며, 그러한 명세 중 56%만이 우리 감사(audit)를 통과한다. 흔한 실패는 충실성(faithfulness)으로, 필요한 동작의 일부만 제약하고 나머지는 자유롭게 두는 명세이다. 명세 품질은 여전히 결과와 상관관계를 보이며, 미해결 인스턴스의 92%에서 실패하는 반면 해결된 인스턴스에서는 51%에서 실패한다. 이로써 충실한 명세 합성은 구체적인 미해결 문제가 된다.

arXiv:2609.24348v1cs.SE

응용 AI 교육을 위한 경량 사양 주도 AI 지원 소프트웨어 개발 수명 주기: AI-SDLC 접근법

A Lean and Spec-Driven AI-Assisted Software Development Lifecycle for Applied AI Education: The AI-SDLC Approach

AI 코딩 에이전트는 코드 완성을 넘어 계획, 구현, 테스트, 저장소 수준 작업 실행까지 소프트웨어 개발을 점점 더 지원한다. 그러나 실무에서의 사용은 종종 기존 소프트웨어 공학 관행과 약하게만 연결되어 있다. 본 연구의 목표는 거버넌스가 적용된 에이전트형 소프트웨어 공학을 위한 경량의 사양 주도 수명 주기를 개발하고 평가하는 것이다. 이 수명 주기는 기존 소프트웨어 공학 관행과 사양(specifications), AGENTS.md, 단계별 에이전트 스킬 파일을 통한 저장소 로컬 가이던스를 결합한다. 이 접근법은 FHNW 과정 AI-assisted Software Development 맥락에서 개발되었으며, 학생들이 비즈니스 지향 소프트웨어 사용 사례에 적용하였다. 교육적·실무적 적용 가능성은 폐쇄형 평점 항목과 개방형 질문을 결합한 학생 설문을 통해 탐구하였다. 본 연구의 기여는 AI 코딩 에이전트가 명시적이고 검토 가능하며 테스트 지향적인 소프트웨어 개발 수명 주기 내에서 제한된 자율성으로 동작하도록 하는 프로세스 중심 프레임워크이다.

arXiv:2605.01392v2cs.SE

소프트웨어 설계에서의 LLM 활용: GitHub 실증 연구 및 실무자 설문조사

Using LLMs in Software Design: An Empirical Study of GitHub and A Practitioner Survey

대규모 언어 모델(LLM)의 최근 발전은 전통적으로 인간의 전문성과 판단에 크게 의존한다고 여겨져 온 소프트웨어 설계를 포함하여, 다양한 소프트웨어 공학 작업 전반에서 상당한 잠재력을 입증했습니다. 그러나 소프트웨어 설계에서 LLM이 어떻게 활용되는지, 그리고 그에 따른 이점과 한계는 무엇인지 조사한 연구는 제한적이었습니다. 본 논문은 소프트웨어 개발자가 소프트웨어 설계에서 LLM을 어떻게 사용하는지 실증적으로 조사하여 이러한 공백을 해결합니다. 우리는 GitHub에서 공유된 291건의 개발자-ChatGPT 대화에 대한 마이닝 연구와 65명의 소프트웨어 실무자를 대상으로 한 설문조사를 결합한 혼합 연구 방법론을 수행했습니다. 마이닝된 대화로부터 아키텍처 설계, 데이터 모델 설계, 디자인 패턴 활용을 포함하여 ChatGPT가 지원하는 9가지 설계 작업 범주를 식별했습니다. 나아가 개발자-ChatGPT 간의 상호작용을 특성화하여, 마이닝된 대화 속 개발자들이 주로 지식 습득과 설계 관련 코드 생성을 위해 ChatGPT를 사용하며 대부분의 작업이 상세 설계 수준에 위치함을 보여줍니다. 설문조사 참가자들은 더 나은 기술 선택 및 설계 결함의 조기 발견 등 7가지 주요 이점과 긴 출력, 실행 불가능하거나 부정확한 코드, 프로젝트 맥락에 대한 의존성 등 6가지 한계를 보고했습니다. 이러한 연구 결과는 오픈소스 및 실무자 관점 모두에서 소프트웨어 설계 내 현재 LLM 사용에 대한 증거 기반의 특성화를 제공합니다.

arXiv:2607.22902v1cs.AI

AI는 앱 목업에서 백로그를 얼마나 잘 생성할 수 있는가?

How Well Can AI Generate Backlogs from App Mockups?

스프린트 백로그를 작성하려면 상당한 노력이 필요하며, 에픽, 사용자 스토리, 태스크와 같은 항목이 누락되거나 일관되지 않게 명세될 수 있다. 우리는 프로젝트 초기 단계에서 확보 가능한 산출물인 시각적 앱 목업으로부터 백로그 생성을 지원하는 멀티모달 접근법을 제안한다. GPT-4o에 대해 세 가지 프롬프트 전략을 평가한다: 제로샷 기준선, 비전-언어 추론을 위한 Compositional Chain-of-Thought(CCoT), 그리고 페르소나 기반 프롬프트. 두 국가에 걸친 7개의 앱 개발 프로젝트를 연구하고 개발자들에게 결과에 대해 인터뷰했다. 전반적으로 기준선 프롬프트는 정밀도보다 재현율을 우선하는 반면, CCoT는 더 균형 잡혀 에픽과 사용자 스토리에 대해 평균 F1 점수 52-66%를 달성했다. 태스크는 정확하게 생성하기가 더 어려웠다. 아키텍처 컨텍스트, 특히 백엔드 태스크(정밀도 향상 최대 35%)를 추가할 때 정밀도 향상이 가장 일관되었다. 개발자 인터뷰에서는 false positive의 최대 26%가 여전히 유용하다고 평가되었으며, 이는 백로그 생성의 창의적이고 개방적인 성격을 반영한다. 이를 포착하기 위해 ground-truth 평가와 개발자 평가를 보완하는 새로운 지표인 Revised Recall(수정된 재현율)을 제안한다. 우리의 발견은 아키텍처 컨텍스트를 포함한 하이브리드 프롬프팅이 초기 목업으로부터 백로그 생성을 지원할 수 있음을 시사하지만, 결과는 항목 유형에 따라 달라지며 개발자의 검토는 여전히 필요하다.

arXiv:2607.22569v1cs.AI

소프트웨어 엔지니어링 파이프라인에서 코딩 에이전트를 위한 실행 기반 보안 테스트

Execution-Grounded Security Testing for Coding Agents in Software Engineering Pipelines

코딩 에이전트는 시스템 운영에 점점 더 통합되고 있으며, 이들의 도구 사용은 프로젝트 산출물, 실행 환경, 그리고 기본 시스템을 직접 수정할 수 있다. 예를 들어, 코딩 에이전트가 시스템 시작 또는 설정 스크립트에 후크(hook)를 삽입하면, 그 변경은 상호작용 이후에도 지속될 수 있고, 나중에 트리거될 수 있으며, 위임된 사용자 또는 시스템 권한을 악용하여 시스템을 수정할 수 있다. 이로 인해 보안 테스트는 시스템 문제가 된다. 핵심 질문은 에이전트가 무엇을 말하는지뿐만 아니라, 주변 환경에 실제로 무엇을 하는지이다. 우리는 도구 호출, 런타임 추적, 파일 시스템 diff를 포함한 관측 가능한 샌드박스 증거를 사용하여 이 실행 층 보안 경계를 탐색하는 실행 기반 레드팀 테스팅(red-teaming) 프레임워크를 제시한다. 우리 프레임워크는 대상 비안전 작업을 단위 테스트, 회귀 테스트, 크래시 재현, 검증을 포함한 일상적인 소프트웨어 엔지니어링 워크로드에 내장하고, 초기 프로브가 거부되거나 실패할 때 정제를 안내하기 위해 실행 오라클(execution oracle)을 사용한다. 여러 에이전트 프레임워크와 모델 백본에 걸쳐, 우리의 레드팀 워크로드 재구성은 검증된 비안전 실행을 실질적으로 증가시켜 코드 캐리어에서는 73.61%, 텍스트 캐리어에서는 53.93%에 달한다. 이러한 결과는 시스템 운영에서의 코딩 에이전트가 작업 위장(task disguise) 하에서 여전히 불안전함을 보여준다. 위험한 의도가 그럴듯한 엔지니어링 작업 안에 숨겨지면, 에이전트는 주변 시스템에서 비안전한 행동을 수행하도록 유도될 수 있다. 더 넓게 보면, 시스템 운영에서의 코딩 에이전트는 여전히 더 강력한 보안 테스트와 안전장치를 요구한다.

arXiv:2607.21832v1cs.SE

AI 코딩 에이전트는 소프트웨어 개발에 어떻게 기여하는가? 에이전틱 풀 리퀘스트에 대한 실증 연구

How Do AI Coding Agents Contribute to Software Development? an Empirical Study of Agentic Pull Requests

최근 대규모 언어 모델(LLM)의 발전과 소프트웨어 공학 작업 전반에 걸친 급속한 도입으로, 인공지능(AI) 코딩 에이전트는 현대 소프트웨어 개발 워크플로의 필수 구성 요소가 되었다. 개발자들이 이러한 코딩 에이전트로부터 점점 더 많은 이점을 얻고 있지만, 소프트웨어 품질에 미치는 영향은 여전히 충분히 이해되지 않았다. 특히 소프트웨어 개발 수명 주기 전반에 걸쳐 에이전틱 기여가 어떻게 변화하는지는 철저히 조사되지 않았다. 본 연구는 에이전틱 풀 리퀘스트(PR)를 사람이 생성한 PR과 비교하여 특성을 규명하고, 개발 수명 주기의 서로 다른 단계에서 그 속성이 어떻게 변화하는지 조사하는 것을 목표로 한다. AIDev 데이터셋을 사용하여, 먼저 에이전틱 PR과 사람이 생성한 PR 간 병합률 차이가 시간에 따라 어떻게 변하는지 분석한다. 다음으로 AI 코딩 에이전트가 주로 적용되는 개발 작업 유형을 파악하고, 이러한 작업 분포가 개발 분기(quarter)에 걸쳐 어떻게 변화하는지 조사한다. 마지막으로 에이전틱 PR과 사람이 생성한 PR의 핵심 특성들을 비교하며, 소프트웨어 품질에 대한 함의와 시간적 역학에 초점을 맞춘다. 전반적으로 본 연구 결과는 소프트웨어 개발에서 AI 코딩 에이전트의 역할에 대한 실증적·종단적 관점을 제공하며, 실제 현장에서의 이점과 한계에 대한 보다 미묘한 이해를 제시한다.

arXiv:2607.22260v1cs.AI

AI4PLE: Product Line Engineering에 AI를 통합하기 위한 방법론

AI4PLE: A Methodology for Integrating AI into Product Line Engineering

재사용 기반 개발은 복잡한 시스템 구축에서 점점 더 중요해지고 있으며, 비용 절감, 품질 향상, 시장 출시 시간 단축에 상당한 기회를 제공한다. 제품군 공학(Product Line Engineering, PLE)은 공유 자산과 역량을 재사용하여 제품군의 효율적인 생성, 관리, 맞춤화를 가능하게 함으로써 이러한 잠재력을 실현하기 위한 체계적인 접근법을 제공한다. PLE는 특징 선택, 가변성 관리, 구성 최적화 등 제품군의 성공에 핵심적인 수많은 복잡한 의사결정을 다룬다. 그럼에도 불구하고 PLE 프로세스에 인공지능(AI)을 체계적으로 통합하는 것은 아직 포괄적으로 탐구되지 않았다. 본 논문에서는 PLE에 AI를 체계적으로 통합하기 위한 방법론적 프레임워크를 제안하고, 산업 현장에서 수행한 다중 사례 연구를 통해 그 효과를 평가한다.

arXiv:2509.09873v2cs.SE

Hugging Face에서 GitHub까지: 오픈소스 AI 생태계의 라이선스 드리프트 추적

From Hugging Face to GitHub: Tracing License Drift in the Open-Source AI Ecosystem

오픈소스 AI 생태계에 숨겨진 라이선스 충돌은 심각한 법적·윤리적 위험을 초래하며, 조직을 소송 가능성에 노출시키고 사용자에게 공개되지 않은 위험을 안겨준다. 그러나 이 분야에서는 이러한 충돌이 얼마나 자주 발생하는지, 어디에서 기인하는지, 어떤 커뮤니티가 가장 큰 영향을 받는지에 대한 데이터 기반 이해가 부족하다. 우리는 Hugging Face의 데이터셋과 모델에 대한 라이선스, 그리고 이들의 오픈소스 소프트웨어 애플리케이션으로의 하류 통합에 대한 최초의 종단간 감사를 제시하며, 36.4만 개의 데이터셋, 160만 개의 모델, 14만 개의 GitHub 프로젝트를 다룬다. 실증 분석 결과, 모델-애플리케이션 전환의 35.5%에서 허용적 조건으로 재라이선스함으로써 제한적 라이선스 조항을 제거하는 체계적 비준수가 드러난다. 또한 라이선스 충돌 탐지를 위해 거의 200개의 SPDX 및 모델별 조항을 인코딩한 확장 가능한 규칙 엔진의 프로토타입을 구현했으며, 이는 소프트웨어 애플리케이션에서 라이선스 충돌의 86.4%를 해결할 수 있다. 향후 연구를 지원하기 위해 데이터셋과 프로토타입 엔진을 공개한다. 본 연구는 오픈소스 AI에서 라이선스 준수를 중요한 거버넌스 과제로 부각하고, 대규모 자동화·AI 인식 준수를 가능하게 하는 데 필요한 데이터와 도구를 모두 제공한다.

arXiv:2607.20911v1cs.CL

Tencent WorkBuddy Bench: 오염 저항형 태스크 구성을 갖춘 다중 도메인 코딩 에이전트 벤치마크

Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction

우리는 코딩 에이전트를 위한 다중 도메인 평가 모음인 Tencent WorkBuddy Bench를 소개한다. 본 보고서는 그 구성 방법론, 채점 프로토콜, 그리고 교차 모델 리더보드를 기록한다. 핵심은 Code, Web, Office, Security라는 네 가지 작업 도메인에 걸쳐 분포 정보를 반영한 코딩 에이전트 태스크를 구성하고 실행하기 위한 통합 평가 프레임워크이다. 공개 이슈 텍스트를 적응하는 대신, 모든 태스크는 실제 커밋, pull request, 또는 비즈니스 시나리오에서 역공학(reverse-engineered)되어 짧고 구어체적이며 역할극 형식의 요청으로 재작성되므로, 태스크의 프롬프트는 기반 이슈, pull request, 또는 커밋 스레드를 웹 검색으로 복구할 수 없다. 데이터셋이 태스크 디렉터리, 환경 이미지, 평가 하네스, 테스트, 참조 솔루션과 함께 공개적으로 배포되기 때문에, 오염(contamination) 저항성은 비밀 유지가 아니라 이러한 구성 방식과 데이터셋 버저닝에 기반한다. 네 가지 하위 집합—저장소 수준 엔지니어링, 프론트엔드 개발, 오피스 및 비즈니스 워크플로, 레드팀/블루팀 보안—은 각자 고유한 검증 방식으로 실제 업무의 상보적인 측면을 탐색한다. 모두는 통일된 태스크 디렉터리 형식으로 패키징되며, 통일되고 재현 가능한 프로토콜 하에서 두 에이전트 하네스(CodeBuddy Code 및 Claude Code)에서 실행된다. 전면 공개 배포는 벤치마크를 종단 간(end to end) 재현 가능하고 직접 감사 가능하게 하며, 제3자가 각 태스크를 재실행하고 그 내용을 검사할 수 있기 때문이다. 각 하위 집합이 서로 다른 채점 도구를 사용하기 때문에, 점수는 하위 집합 간 비교 가능하지 않으며, 이 모음은 전체 평균을 보고하지 않는다. 우리는 여러 모델 패밀리에 걸친 교차 모델 리더보드를 보고한다.

arXiv:2607.20300v1cs.SE

라벨을 신뢰하지 마라: AI 공급망에서의 라이선스 세탁

Don't Trust the Label: License Laundering in AI Supply Chains

AI 아티팩트는 Hugging Face의 데이터셋과 모델, GitHub의 애플리케이션에 이르는 다중 플랫폼 공급망을 거치며 이동한다. 각 아티팩트는 재배포를 통해 의무가 전파되어야 하는 라이선스를 갖고 있지만, 아티팩트가 하류로 이동하면서 그러한 의무가 공급망을 거쳐 유지되는지, 아니면 제거되고 대체되는지를 측정한 연구는 아직 없다. 우리는 232,270개의 데이터셋→모델→애플리케이션 체인을 추적하여 두 가지 형태의 라이선스 세탁을 정량화했다: 선언된 라이선스가 없는 아티팩트가 하류에서 명확한 라벨을 획득하는 경우, 그리고 재배포 과정에서 하나의 선언된 라이선스 카테고리가 다른 것으로 대체되는 경우. 조사 결과 62.3%의 체인이 선언된 라이선스가 없는 아티팩트를 최소 하나 이상 거치며(소수의 기초 데이터셋에 집중됨), 의무를 부과하는 모든 라이선스 카테고리의 종단 간 생존률은 7% 미만인 반면 Permissive 카테고리는 95.1%에 달한다. 이러한 발견을 바탕으로 실무자, 모델 게시자, 권리 보유자, 플랫폼 소유자를 위한 실행 가능한 권고안을 제시한다.

arXiv:2607.19653v1cs.SE

PerfAgent: 저장소 수준 코드 최적화를 위한 프로파일러 가이드 반복 정제

PerfAgent: Profiler-Guided Iterative Refinement for Repository-Level Code Optimization

대규모 언어 모델(LLM) 에이전트는 SWE-Bench 이슈 해결과 실제 코드베이스에서의 기능 구현을 포함한 정확성 중심의 저장소 수준 작업에서 이제 우수한 성능을 보인다. 그러나 동작을 유지하면서 런타임 성능을 개선해야 하는 저장소 수준 코드 최적화에서는 여전히 어려움을 겪는다. 이 설정에서는 테스트 통과만으로는 충분하지 않으며, 패치는 동작을 유지하고 코드 최적화를 구현하며 전문가 수준의 속도 향상(speedup)에 근접해야 한다. 현재 에이전트는 추상화 계층과 네이티브 확장 뒤에 숨겨진 병목을 놓치거나, 얕은 수준의 속도 향상에서 멈추거나, 코드 패치를 충분히 테스트하지 않아 엣지 케이스를 조용히 깨뜨릴 수 있다. 우리는 PerfAgent를 제안한다. PerfAgent는 프로파일러 기반의 검증기 내 루프(verifier-in-the-loop) 워크플로우로, 기성(off-the-shelf) 코딩 에이전트에게 실제 핫스pot을 찾고, 첫 번째로 통과하는 패치를 넘어 개선하며, 타이밍만이 아니라 프로파일러 증거를 사용해 다음에 무엇을 최적화할지 결정하는 데 필요한 피드백을 제공한다. 두 가지 도전적인 최적화 벤치마크인 GSO와 SWE-fficiency-Lite에서 PerfAgent는 GPT-5.1을 사용한 OpenHands 대비 전문가 수준에 부합하는 패치 비율을 두 배 이상 높였으며, GSO에서는 19.6%에서 39.2%로, SWE-fficiency-Lite에서는 26%에서 74%로 개선했다. 또한 PerfAgent는 훨씬 낮은 비용으로 오라클 best-of-five 기준선을 능가하며, 이는 성능 향상이 추가적인 테스트 시점 샘플링이 아니라 더 나은 피드백에서 비롯됨을 보여준다.

arXiv:2606.30182v2cs.AI

MirrorCode: AI는 동작만으로 전체 프로그램을 재구현할 수 있다

MirrorCode: AI can rebuild entire programs from behavior alone

AI 모델은 벤치마크 진전과 AI가 C 컴파일러를 구현하는 것과 같은 단발성 시연에서 볼 수 있듯이, 자율 코딩 능력이 빠르게 향상되고 있다. 그러나 기존 코딩 벤치마크는 짧은 태스크에 집중하는 경향이 있으며, 단발성 시연은 종종 일부 인간의 안내를 포함하고 모델 간에 표준화되거나 반복되지 않아 체계적으로 비교하기 어렵다. 이러한 과제를 해결하기 위해, 우리는 전체 소프트웨어 프로젝트를 재구현하는 것에 기반한 장기(long-horizon) 코딩 벤치마크인 MirrorCode를 소개한다. MirrorCode에서 AI 에이전트는 소스 코드에 접근하지 않고 기존 프로그램의 기능을 복제해야 한다. AI 솔루션은 홀드아웃 테스트를 포함한 엔드투엔드 테스트에서 원본 프로그램의 출력과 정확히 일치해야 한다. MirrorCode의 25개 대상 프로그램은 Unix 유틸리티, 데이터 직렬화 및 쿼리 도구, 생물정보학, 인터프리터, 정적 분석, 암호학, 압축 등 컴퓨팅의 다양한 영역에 걸쳐 있다. 기존 AI 모델은 이미 복잡한 소프트웨어를 재구현할 수 있으며, 가장 강력한 모델은 벤치마크 전반에서 56%의 점수를 기록했다. 예를 들어, AI는 16,000줄 규모의 생물정보학 툴킷인 gotree를 재구현할 수 있는데, 이는 인간 엔지니어라면 수 주가 걸릴 것으로 생각되는 태스크이다. 그러나 성능의 최전선을 연구하려면 일반적인 벤치마크보다 더 큰 추론 예산이 필요한데, 예를 들어 대규모 태스크에 대한 단일 시도에 19일에 걸쳐 $2,600이 소요된다. 우리는 AI 에이전트가 이미 장기 소프트웨어 엔지니어링 태스크를 완료할 수 있음을 보여주며, 특히 요구사항이 정확하게 명시될 때 더욱 그러하다. 더 넓게 보면, 우리의 연구는 자율 에이전트가 계속 발전함에 따라 AI가 소프트웨어 엔지니어링에 변혁적인 영향을 미칠 것임을 시사한다.

arXiv:2607.15205v1cs.SE

MM-IssueLoc: 다중모달 레포지토리 수준 이슈 국소화에서 시각적 증거를 평가하기 위한 통제 벤치마크

MM-IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-Level Issue Localization

실제 레포지토리 이슈에는 스크린샷, 오류 대화 상자, 렌더링된 UI 상태, 로그 등 시각적 증거가 흔히 포함되지만, 레포지토리 수준 이슈 국소화는 대부분 텍스트 전용 작업으로 평가된다. 기존 다중모달 SE 벤치마크는 end-to-end 수리를 평가하며, 국소화를 패치 합성과 뒤섞어 시각적 입력이 도움이 되었는지, 해가 되었는지, 아니면 무시되었는지를 가리게 한다. 우리는 시각적 증거를 포함한 레포지토리 수준 국소화를 위한 통제 벤치마크 및 평가 프로토콜인 \textbf{MM-IssueLoc}을 소개한다. MM-IssueLoc은 23개 언어에 걸친 652개의 이슈-PR 인스턴스를 포함하며, 7개 이미지 카테고리와 4단계 관련성 수준에 대한 주석을 제공한다. 파일 수준 및 함수 수준의 골드 레이블, 텍스트 전용 및 이미지 포함 평가의 짝을 이룬 비교, 그리고 이미지를 구조화된 텍스트 증거로 변환하는 VCE 기반 진단을 제공한다. 대규모 언어 모델(LLM) 기반 및 검색 기반 시스템을 평가하며, 통제된 다중모달 검색기로 MM-IssueLoc-VL-Emb을 포함한다. 결과는 기존 시스템이 신뢰할 수 있는 다중모달 레포지토리 국소화에 한참 미치지 못함을 보여준다: 가장 강력한 에이전트는 파일 Acc@5 38.96, 함수 Acc@10 22.45를 달성하는 반면, 가장 강력한 검색기는 함수 Acc@10 33.86에 이른다. 교차 벤치마크 비교는 텍스트 중심 SWE 벤치마크에서의 높은 국소화 점수가 다중모달 이슈 국소화로 깔끔하게 이전되지 않음을 보여준다. MM-IssueLoc은 시각적 증거를 명시적인 평가 변수로 전환하여, 향후 연구가 텍스트 전용 단서나 downstream 패치 생성 효과에 의존하는 것이 아니라 시각적 증거를 국소화에 사용함으로써 시스템이 개선되는지를 검증할 수 있게 한다.

arXiv:2607.14890v1cs.AI

Proof-or-Stop: 에이전트를 믿지 말고 증거를 믿어라 -- 검증 가능한 증거 게이트 라이프사이클 제어를 위한 루프 엔지니어링

Proof-or-Stop: Don't Trust the Agent, Trust the Evidence -- Loop Engineering for Verifiable Evidence-Gated Lifecycle Control

자율 코딩 에이전트가 점점 더 다단계 소프트웨어 작업을 수행하고 있지만, reviewed, tested, DONE, ready-to-merge와 같은 라이프사이클 상태는 최신 증거로 뒷받침되지 않는 한 주장에 불과하다. 우리는 Proof-or-Stop Lifecycle Control을 제안한다. 이 방법은 신선하고 추적 가능한 소스 상태에 결합된 기계적으로 검증 가능한 증거가 관련 게이트를 충족할 때만 라이프사이클 전환을 허용한다. 이 방법은 에이전트 출력을 라이프사이클 상태가 아닌 주장으로 취급하며, proof를 운영적으로는 명시된 신뢰 모델 하에서 게이트 허용 증거를 의미하는 것으로 사용한다(의미론적 프로그램 정확성이 아님). 오픈소스 구현을 메커니즘 테스트, 통계적 검정력을 갖춘 제어 정책 ablation, 운영된 자기 적용(self-application) 증거를 통해 평가한다. 무인 루프 엔진은 10개 시나리오 모두를 통과했으며 false-DONE은 0건이었다. 로컬 키 영수증 번들은 18개 변조 클래스를 거부했으며 false accept는 0건이었다. 9,240셀 ablation에서 사전 등록된 A4 대 A2-prime 비교는 연산 예산 기반 naive loop 하에서 주입된 1,800셀 중 31건이었던 visible-pass/hidden-fail 증폭을 gated loop 하에서는 1,800셀 중 2건으로 줄였다. 이는 not-amplified rate에서 1.6 percentage point 개선이며 95% 신뢰구간은 [0.8, 2.5]이다. 거의 동일한 연산량의 A3 대 A4 비교(1,800 중 14건 대 1,800 중 2건)는 이득이 단순히 리뷰어를 추가하는 것이 아니라 review를 라이프사이클 게이트로 강제하는 것과 연관됨을 시사한다. 자기 적용 코퍼스에는 565개 스토리와 1,007개 리뷰 발견이 포함되며 94.8%가 해결되었고, 68행의 high/critical cross-vendor exhibit가 있다. 이러한 결과는 Proof-or-Stop이 라이프사이클이 어떤 자율 에이전트 주장에 행동할 수 있는지를 결정하는 모델 불문·호스트 중립적 제어 층으로서 타당함을 뒷받침한다. 평가는 하나의 모델 계열, 24개 ablation 태스크, 자체 호스팅 코퍼스로 제한된다.

arXiv:2607.14037v1cs.SE

GitHub 프로젝트의 에이전트 코딩 도구 초기 채택

Early Adoption of Agentic Coding Tools by GitHub Projects

에이전트 코딩 도구는 소프트웨어 프로젝트에 풀 리퀘스트(PRs)를 생성하고 제출하는 능력이 점점 커지고 있으며, 소프트웨어 개발에서 새로운 형태의 인간-에이전트 협업을 도입하고 있다. 기존 연구들은 에이전트가 생성한 기여의 PR 수준 결과를 검토해 왔지만, 프로젝트 수준에서 에이전트 코딩 도구가 어떻게 채택되고 관리되는지에 대해서는 잘 알려져 있지 않다. 본 논문에서는 인기 GitHub 저장소 2,361개의 에이전트 PR 25,264건을 분석하여 (1) 에이전트 코딩 도구의 채택, (2) 프로젝트 수준의 에이전트 PR 생산성, (3) 인간-에이전트 협업 패턴을 조사한다. 결과에 따르면 중앙값 기준 저장소는 3개월 동안 에이전트 PR을 1~2건만 생성하며, 이는 집중적인 채택이 소수의 프로젝트에 집중되어 있음을 나타낸다. 동시에 소규모 프로젝트(기여자 1~5명)는 중대규모 및 대규모 프로젝트보다 더 높은 참여 비율과 평균 수준의 에이전트 PR 활동을 보인다. 또한 프로젝트 수준의 에이전트 PR 생산성에서도 상당한 편차가 관찰된다. 소수의 프로젝트는 3개월 관측 기간 동안 참여자당 36건의 PR이라는 업계 보고 추정치를 초과하지만, 대부분의 프로젝트는 이 임계값 미만에 머문다. 마지막으로, 인간-에이전트 협업은 한 명의 개발자가 에이전트의 기여를 검토하고/또는 수정하는 단일 인간 감독 모델이 지배적이며, 다수 인간 협업 패턴은 드물다. 이러한 발견은 오픈소스 프로젝트가 에이전트 코딩 도구 주변에서 인간 감독을 어떻게 조직하는지에 대한 초기 실증적 증거를 제공하며, 에이전트가 생성한 기여의 성공적인 통합은 에이전트 역량의 발전뿐만 아니라 이를 사용하는 인간 및 조직적 프로세스에도 달려 있음을 시사한다. 본 연구는 에이전트 채택의 초기 스냅샷을 포착하므로, 향후 연구에서는 채택 패턴이 시간에 따라 어떻게 변화하는지 계속 추적해야 한다.

arXiv:2607.13091v1cs.SE

축적된 행동 규칙을 통한 자기 개선 AI 코딩 에이전트: 폐루프 프레임워크

Self-Improving AI Coding Agents Through Accumulated Behavioral Rules: A Closed-Loop Framework

대규모 언어 모델(LLM) 기반 코딩 에이전트는 인간 리뷰 피드백에서 받은 수정 사항을 유지하는 메커니즘이 없기 때문에 세션 간에 동일한 유형의 실수를 반복한다. 우리는 수락된 모든 리뷰 코멘트를 지속적인 행동 규칙으로 구체화하여, 에이전트가 자체적으로 탐지할 수 있는 오류 유형의 집합을 점진적으로 확장하는 폐루프 프레임워크를 제안한다. 이 프레임워크는 버전 관리되는 지시 파일에 축적되는 규칙 집합, 코드 제출 전에 실행되는 자기 검토 체크리스트, 규칙 집합이 성장함에 따라 그 무결성을 보장하는 자동화된 검증을 결합한다. 35개 이상의 서비스로 구성된 마이크로서비스 플랫폼에 배포한 결과, 규칙 집합은 실제 리뷰 피드백에서 파생된 5개에서 18개의 행동 규칙, 15개 이상의 언어별 표준, 15개 항목의 자기 검토 체크리스트로 성장했다. 코드 생성, PR 리뷰, 사고 조사, 교차 서비스 리팩터링에 걸친 11회의 기록된 작업 세션에서 얻은 실증 결과를 제시한다. 축적된 규칙이 리뷰 노력을 저수준 정확성에서 설계 수준의 검증으로 전환시키고, 규칙에 의해 금지된 오류 유형에 대해 측정된 0% 재발률을 달성하며, 이질적인 에이전트 인터페이스 간에 전이된다는 것을 관찰한다. 경험적 LLM 학습(Reflexion, ExpeL, Voyager) 및 자동화된 코드 리뷰(CodeReviewer, SWE-bench agents) 관련 연구와 우리 접근법을 비교하여, 우리 프레임워크가 가중치 업데이트 없이 지속적인 세션 간 학습을 달성하고, 합성 벤치마크가 아닌 프로덕션 코드베이스에서 동작하며, 기존 벤치마크가 측정하지 않는 직교 차원(시간에 따른 행동 일관성)을 다룬다는 것을 보여준다. 그 결과, 단 하나의 모델 가중치도 변경하지 않고 매 리뷰 주기마다 개선되며 인간 협업자들의 엔지니어링 지혜를 축적하는 코딩 에이전트가 된다.

arXiv:2607.13071v1cs.SE

인식론적 실패로서의 Compaction: 에이전틱 LLM 도구가 강제 종료된 프로세스로부터 확인된 결과를 날조하는 방식

Compaction as Epistemic Failure: How Agentic LLM Tools Fabricate Confirmed Results from Killed Processes

에이전틱 LLM 코딩 도구는 긴 세션 기록을 compaction 요약으로 압축하며, 이후 세션이 이를 ground truth로 상속받는다. 본 논문은 Claude Code에서의 실패 모드를 문서화한다. 시간 초과된 명령(종료 코드 143)의 부분적 표준 출력이 compaction 요약에 확인된 결과로 기록되고, 재검증 없이 세션과 모델 버전 전반에 걸쳐 거짓 양성이 전파된다. 근본 메커니즘은 관측과 지속성(persistence)의 혼동으로, 터미널에 나타난 정보가 내구성 저장소에 기록된 정보와 동등한 것으로 취급된다. 이 발견은 LLM-as-judge 채점에서의 비결정성에 관한 선행 연구에서 보고된 LLM 자기 평가(self-evaluation) 실패 분석을 확장하며, 에이전틱 도구가 자신의 운영 결과를 보고할 때 유사한 신뢰성 결함을 보인다는 것을 보여준다. 이 실패는 데이터 처리, 과학적 계산, 또는 다단계 자동화를 위해 에이전틱 세션 연속성에 의존하는 모든 워크플로에 직접적인 함의를 갖는다.