PyTorchKR Papers

최신 논문

총 79편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.39564v1cs.AI

A2Z GameSpec-Bench: 코딩 에이전트는 게임 설계 명세로부터 얼마나 충실하게 게임을 생성할 수 있는가?

A2Z GameSpec-Bench: How Faithfully Can Coding Agents Generate Games from Game Design Specifications?

완전한 애플리케이션 개발을 코딩 에이전트(agent)에 위임하려면 단순한 프롬프팅을 통해 그럴듯한 결과물을 만들어내는 것이 아니라 의도된 설계를 보존해야 한다. 게임 개발은 까다로운 테스트베드를 제공하는데, 장문의 게임 설계 문서(Game Design Document, GDD)는 게임 로직, 시각적 렌더링, 플레이어 상호작용 전반에 걸쳐 함께 작동해야 하는 요구사항을 기술하기 때문이다. 그러나 기존의 게임 개발 벤치마크는 일반적으로 간결한 명세를 사용하며, 장문 GDD에서 이러한 측면들 간의 상호 의존적인 요구사항을 평가하는 데 제한적인 지원만을 제공한다. 우리는 에이전트의 엔드투엔드 게임 개발을 평가하기 위한 100개의 장문 GDD로 구성된 벤치마크인 A2Z GameSpec-Bench를 소개한다. 우리는 게임이 GDD 요구사항을 충족하고 그 요구사항들 간의 관계를 보존하는지를 확인하여 충실도(faithfulness)를 측정한다. 각 GDD는 규칙, 제약 조건, 선행 관계(prerequisite relation)를 포함하는 의존성 인식 계약(dependency-aware contract)으로 변환된다. 게임 개발 관행을 따라, 우리는 소스 코드 검사와 에이전트가 생성한 테스트 정책을 결합하여 시나리오 기반 리플레이와 적응형 플레이테스팅을 수행한다. 계약은 에이전트와 수정 라운드 전반에 걸쳐 고정된 상태로 유지되며, 동일한 요구사항과 연결된 판정과 근거는 일관된 비교와 실패 탐지를 지원한다. 우리의 평가 결과, 현재 에이전트는 코드 구현과 실제 플레이 전반에 걸쳐 상호 의존적인 요구사항을 동시에 충족하는 데 어려움을 겪는 것으로 나타났다. 요구사항별 피드백은 두 라운드 이후 자기 수정(self-revision) 대비 GDD 충실도를 10.9% 상대적으로 향상시킨다. A2Z GameSpec-Bench는 구현 판정을 넘어선 엔드투엔드 명세 준수 능력을 평가하며, 더 충실한 게임 개발을 지원하기 위한 맞춤형 피드백을 제공한다. 코드와 데이터셋은 https://a2z-gamespec-bench.github.io 에서 확인할 수 있다.

arXiv:2609.27891v1cs.SE

슈뢰딩거의 코드 저장소: LLM은 SWE-bench를 학습했는가, 아니면 암기했는가?

Schr\"odinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?

저장소 수준 코딩 벤치마크는 코딩 에이전트 평가의 표준이 되었지만, 학습에 반복적으로 사용된 인기 오픈소스 저장소 위에 구축되기 때문에 본질적으로 데이터 유출 문제를 겪는다. 결과적으로, 높은 성능은 견고한 저장소 추론이라기보다 정형화된 저장소 단서의 암기를 반영할 수 있다. 우리는 동적으로 인스턴스화된 저장소 표현 하에서 코딩 에이전트를 시험하기 위한 평가 프레임워크인 SchrodingerRepo(슈뢰딩거의 저장소)를 제안한다. 테스트 저장소의 정적 표현을 반복적으로 사용하는 대신, SchrodingerRepo는 테스트 저장소를 에이전트가 평가 환경에 진입할 때에만 동적으로 인스턴스화되는 평가 시점 잠재 변수로 취급한다. 인스턴스화된 저장소는 네 가지 변환 수준—문제 진술 재구성, 네임스페이스 재매핑, 파일 내 레이아웃 재정렬, 기능 보존 코드 재작성—을 통해 명명 규칙, 파일 레이아웃, 구현 패턴과 같은 친숙한 단서를 훼손하면서 원래의 실행 가능한 동작을 보존한다. 우리는 SWE-bench Verified와 SWE-QA에서 인기 LLM을 평가한다. 결과는 친숙한 저장소 단서를 제거하면 모델 전반에 걸쳐 에이전트 성능이 일관되게 저하되고 상호작용 비용이 실질적으로 증가함을 보여준다. 추가 분석에 따르면, 추가 비용은 주로 저장소 탐험과 위치 특정(localization)의 난이도 증가에서 기인한다. 이러한 결과는 현재 코딩 에이전트가 저장소 측 암기된 단서에 부분적으로 의존할 수 있음을 시사하며, 동적으로 인스턴스화된 저장소 표현 하에서의 평가 필요성을 부각한다.

arXiv:2609.26204v1cs.SE

WatchPoint: 실제 환경의 에이전트(agent) 기반 웹 개발을 위한 실행 가능한 사용자 피드백

WatchPoint: Executable User Feedback for Real-World Agentic Web Development

전문 웹 개발자의 코드가 테스트에 실패했을 때, 개발자는 단순히 스택 트레이스(stack trace)를 다시 읽는 데 그치지 않습니다. 브라우저에서 애플리케이션을 열고, 버튼을 클릭하고, 계산된 스타일(computed styles)을 검사하며, 진단 명령어를 실행하여 무엇이 잘못되었는지 파악합니다. 기존 코딩 에이전트(agent)용 피드백 메커니즘은 스크린샷, LLM-as-a-judge 점수 산정, 또는 자연어 수정에 의존하지만, 개발자가 하듯이 실제 실행 중인 애플리케이션과 상호작용하는 경우는 거의 없습니다. 본 논문에서는 실행 중인 애플리케이션을 대상으로 진단 스크립트를 생성 및 실행하여 코딩 모델의 재시도를 안내하는 구조화된 관찰 결과를 생성함으로써 실제 개발자의 행동을 모방하는 가상 사용자 시스템인 WatchPoint를 소개합니다. 단일 파일 수정만을 대상으로 하거나 실행 불가능한 지표로 평가했던 이전 접근법과 달리, 본 연구는 결정론적 엔드투엔드(end-to-end) 테스트로 검증된 순차적 의존 관계를 갖는 1,000개의 작업으로 구성된 50개의 다중 파일 웹 프로젝트 벤치마크인 Web-Bench에서 작동합니다. WatchPoint는 진단한 작업의 57.6%를 복구하며, 통제된 사용자 연구를 통해 시뮬레이션의 현실성을 확인했습니다. 즉, 인간 테스터가 이와 유사한 복구율(54.5%)을 달성하여 자동화된 진단 스크립트가 순차적 웹 개발 작업에서 대화형 인간 테스트를 대체할 수 있다는 증거를 제공합니다. 나아가 가상 사용자 피드백이 유용한 경우와 이를 보류해야 하는 경우를 결정짓는 역량 격차 패턴을 규명합니다.

arXiv:2609.25130v1cs.CL

영향은 무효화가 아니다: diff가 아닌 주장(claim)에 대해 물어라

Impact Is Not Invalidation: Ask About the Claim, Not the Diff

코딩 에이전트(agent)의 메모리 시스템은 저장소가 변경될 때 저장된 주장(claim) 중 어떤 것이 거짓이 되었는지 판단해야 한다. 콘텐츠 앵커링(content anchoring)은 주장의 출처가 된 아티팩트가 변경될 때마다 해당 주장을 무효화하는데, 이는 끊임없이 발동한다. 의미적 동등성 분류(semantic-equivalence classification)는 diff가 동작을 보존하는지를 묻는데, 이는 저장된 어떤 주장에 대한 질문이 아니라 diff에 대한 질문이다. 우리는 두 번째 신호가 모델 성능과 무관한 이유로 실패함을 보인다. 커밋이 동작을 보존하는지 묻는 경우, 가격 차이가 40배에 달하는 다섯 개 모델은 실제 커밋의 59~72%에서 무효화를 발동하며, 기저 비율(base rate) 0.25 대비 0.291~0.329의 정밀도(precision)에 그친다. 반면 특정 주장 하나가 여전히 성립하는지를 물으면, 동일한 diff에서 동일한 모델들이 0.705~0.974의 정밀도에 도달한다. 동작 보존 판정기에 주장 텍스트를 제공하여 질문만 바꾸지 않은 통제 실험에서는 정밀도가 0.010과 0.016만큼 변했지만, 질문을 바꾸면 0.49와 0.65만큼 변한다. 또한 커버리지에서 도출한 의존성 데이터를 사용하는, 실제 배포된 회귀 테스트 선택기인 pytest-testmon과도 비교한다. 이 도구는 재현율(recall) 0.868, 정밀도 0.415를 달성하는데, 이는 변경이 도달할 수 있는 범위에 대해 거의 완전한 지식을 갖고 있어도 그 변경이 무엇을 거짓으로 만드는지는 식별하지 못함을 보여준다. 정답(ground truth)은 어노테이션이 아니라 실행이다. 주장은 커밋 t에서 통과하는 테스트 함수이며, 동일한 assertion 텍스트가 t+1에서 실패하면 뒤집힌(flipped) 것으로 간주한다. 이를 구축하기 위해서는 우리가 선행 연구에서 찾지 못한 관찰이 필요했다. CI로 게이트된 메인라인에서는 기존 테스트를 실패시키는 커밋이 병합될 수 없으므로, 단순한 구성 방식은 설계상 양성(positive) 클래스가 비어 있게 된다. 우리는 23개 Python 라이브러리에서 추출한 10,369개의 주장과 184개의 실행으로 검증된 뒤집힘(flip)을 보고하며, 저장소 단위로 분리한 홀드아웃 분할, 지식 컷오프 이후 분할, 셔플된 diff 귀무 실험(null), 패러프레이즈 통제 실험, 그리고 17개 저장소에 대한 leave-one-repository-out 분석을 함께 제시한다.

arXiv:2609.24348v1cs.SE

응용 AI 교육을 위한 경량 사양 주도 AI 지원 소프트웨어 개발 수명 주기: AI-SDLC 접근법

A Lean and Spec-Driven AI-Assisted Software Development Lifecycle for Applied AI Education: The AI-SDLC Approach

AI 코딩 에이전트는 코드 완성을 넘어 계획, 구현, 테스트, 저장소 수준 작업 실행까지 소프트웨어 개발을 점점 더 지원한다. 그러나 실무에서의 사용은 종종 기존 소프트웨어 공학 관행과 약하게만 연결되어 있다. 본 연구의 목표는 거버넌스가 적용된 에이전트형 소프트웨어 공학을 위한 경량의 사양 주도 수명 주기를 개발하고 평가하는 것이다. 이 수명 주기는 기존 소프트웨어 공학 관행과 사양(specifications), AGENTS.md, 단계별 에이전트 스킬 파일을 통한 저장소 로컬 가이던스를 결합한다. 이 접근법은 FHNW 과정 AI-assisted Software Development 맥락에서 개발되었으며, 학생들이 비즈니스 지향 소프트웨어 사용 사례에 적용하였다. 교육적·실무적 적용 가능성은 폐쇄형 평점 항목과 개방형 질문을 결합한 학생 설문을 통해 탐구하였다. 본 연구의 기여는 AI 코딩 에이전트가 명시적이고 검토 가능하며 테스트 지향적인 소프트웨어 개발 수명 주기 내에서 제한된 자율성으로 동작하도록 하는 프로세스 중심 프레임워크이다.

arXiv:2609.23953v1cs.AI

문서를 편집하는 에이전트: 비에이전트 대조군을 대비한 에이전트형 PDF 위조 측정

Agents That Edit Documents: Measuring Agentic PDF Forgery Against a Non-Agentic Control

지난 1년간 스스로 다단계 컴퓨터 작업을 끝까지 수행하는 AI 에이전트가 일상적인 도구가 되었고, 같은 자율성은 해로운 목적을 가진 누구에게나 이용 가능해졌다. 우리는 증거가 제출된 PDF인 신뢰 당사자—보험사, 대출기관, 감사인—에게 그것이 무엇을 의미하는지 묻는다. AgentForge-Bench는 셸과 기본 Python PDF 스택으로 일곱 개의 오픈 가중치 모델 중 하나를 구동하는 상용 코딩 에이전트가, 의도를 담은 한 문장만으로 실제 제출된 금융 문서에서 달러 금액, 날짜 또는 주소 중 하나를 얼마나 안정적으로 변경하는지를, 모델이 아니라 규칙으로 채점하여 측정한다. 1,750개 셀 가운데 1,419개(81.1%)가 검증기를 통과했고, 808개(46.2%)는 더 엄격한 필터—눈에 보이는 변경, 국소적 변경, 글꼴 일치, 문서 전체에서 원래 값 소거—를 모두 통과했다. 모델이 없는 결정론적 스크립트는 125개 문서 중 98개를 해결했고, 에이전트는 124개를 해결했으며, 스크립트만 단독으로 해결한 문서는 없었다. 에이전트는 잘못된 편집의 41%를 완료된 것으로 잘못 보고했고, 어떤 모델도 거부하지 않았으며, 검증된 위조 중 가장 저렴한 비용은 2.4센트였다. 원시 비율은 위협을 약 2배 과대평가하지만, 엄격한 기준의 비율도 여전히 크다.

arXiv:2609.23363v1cs.AI

TicTacBench: 코딩 에이전트의 타이밍 클로저 역량 벤치마킹

TicTacBench: Benchmarking Timing Closure Capabilities of Coding Agents

최근 대규모 언어 모델(LLM)의 발전으로 레지스터 전송 수준(RTL) 설계 및 최적화를 포함한 복잡한 엔지니어링 작업을 수행할 수 있는 코딩 에이전트가 등장했다. 기존 RTL 벤치마크는 생성된 RTL 설계의 기능적 정확성과 성능·전력·면적(PPA)을 주로 평가하며, 에이전트의 타이밍 클로저(timing closure) 능력은 상대적으로 덜 평가된다. 우리는 post-place-and-route(post-PnR) 평가 하에서 RTL 수준 타이밍 클로저에 대한 코딩 에이전트 역량을 평가하기 위해 특별히 설계된 벤치마크 TicTacBench를 제안한다. TicTacBench는 30개의 다양한 과제를 포함하며, 각 과제는 최적이 아닌 RTL 설계, 현실적인 타이밍 제약, 기능 등가 검증, 타이밍 리포트를 제공한다. 8개의 최前沿 LLM으로 구동된 코딩 에이전트에 대해 300회 이상 실행한 결과, 최고의 에이전트조차도 평균적으로 면적-지연 곱(ADP) 7.18% 악화와 에너지-지연 제곱 곱(EDDP) 8.83% 개선과 함께 과제의 53.3%만 타이밍을 클로즈할 수 있었다. 에이전트가 타이밍을 클로즈하지 못하는 이유를 설명하는 공통 실패 범주를 식별한다. 다음으로 표준 타이밍 클로저 절차를 따르도록 에이전트를 안내하고 타이밍 클로저율(Timing Closure Rate)을 9% 향상시키는 새로운 방법 TicTacSkill을 제안한다. 이 결과는 코딩 에이전트가 RTL 설계에서 상당한 진전을 이루었음에도 불구하고, 타이밍 클로저 역량에는 여전히 개선할 여지가 상당함을 시사한다.

arXiv:2609.23142v1cs.AI

CraftBench-UE: 언리얼 엔진에서 코딩 에이전트를 위한 결정론적 평가

CraftBench-UE: Deterministic Evaluation for Coding Agents in Unreal Engine

게임 엔진에서 게임플레이 기능을 만드는 일은 코드만으로는 충분하지 않다. 컴파일되고 실행되는 코드가 반드시 요청된 게임플레이를 구현한다는 보장은 없기 때문이다. 우리는 CraftBench-UE를 소개한다. 이는 격리된 언리얼 엔진 환경에서 에이전트를 실행하고, 저장된 제출물을 새 프로젝트에서 재구성한 뒤 LLM 심사자 없이 결정론적인 빌드, 에셋, 런타임 검사를 적용하는 평가 하네스이다. 이 하네스를 바탕으로 C++ 소스, Blueprint 에셋, 에디터 스크립팅에 걸친 70개 과제로 구성된 벤치마크를 구축했다. 두 가지 에디터 도구 구성 하에서 일곱 개 모델을 평가하였으며, C++ 과제에는 파일-및-셸 기준선을 두었다. 또한 동일한 게임플레이를 명시하고 동일한 런타임 테스트를 사용하지만 산출물로 C++와 Blueprint를 각각 요구하는 과제들을 짝지었다. 10개의 짝지어진 과제 전체에서, 두 도구 구성에서 C++ 완료율이 Blueprint보다 각각 30.0 및 42.9퍼센트포인트 높다. 이 짝짓기 집합에서 에셋 검사를 통과한 시간 내 Blueprint 제출물 중 42.2%와 50.0%가 명시적 런타임 단언에서 실패한다. 이 제출물들은 에셋 요구사항은 만족하지만 필수 게임플레이 테스트에는 실패한다. 보고서와 함께 하네스, 과제 벤치마크, 궤적 분석 결과를 공개할 예정이다.

arXiv:2606.04261v2cs.AI

범용 에이전트는 데이터 큐레이션을 자동화할 수 있는가?

Can Generalist Agents Automate Data Curation?

학습(training) 데이터를 큐레이션하는 작업은 현대 AI 개발에서 가장 중대하면서도 노동 집약적인 과정 중 하나입니다. 실무자들은 노이즈가 있는 벤치마크(benchmark) 피드백에 맞춰 데이터 정책을 반복적으로 제안, 구현, 평가, 수정합니다. 본 논문에서는 범용 코딩 에이전트(agent)가 이러한 데이터 큐레이션 루프를 자동화할 수 있는지 묻습니다. 우리는 모델(model), 학습 레시피, 평가 스위트를 고정하는 동시에, 에이전트에게 데이터를 검토하고 정책을 구현하며 고정된 학습/평가 파이프라인에 제출하고 수정할 수 있는 커맨드라인 접근 권한을 부여하는 에이전트 중심의 벤치마크인 Curation-Bench를 소개합니다. 비전-언어(vision-language) 인스트럭션 튜닝(instruction tuning) 환경에서, 별도의 튜닝 없는(out-of-the-box) 에이전트는 10회의 반복(iteration) 내에 이미 발표된 강력한 데이터 선택 베이스라인 수준에 도달합니다. 그러나 궤적 분석 결과 지속적인 '실행-연구 격차(execution-research gap)'가 드러났습니다. 에이전트는 전략 가이드와 논문 레퍼런스가 주어지더라도 새로운 정책 계열을 탐험(exploration)하기보다는 주로 국소적인 정책 변형만을 튜닝합니다. 각 반복마다 이전 방법을 인용, 인스턴스화, 적용하도록 요구하는 스캐폴드(scaffold)는 에이전트를 방법론 기반의 탐험으로 유도합니다. 스캐폴드가 적용된 에이전트는 인간의 설계 개입 없이도 기존 데이터 예산의 10분의 1 수준으로 발표된 강력한 베이스라인을 능가하는 데이터 선택 정책을 자율적으로 구성합니다. 전반적으로 현재의 에이전트는 큐레이션 루프를 실행할 수 있으나, 신뢰할 수 있는 데이터 연구를 위해서는 개방형 프롬프트(prompt) 작성뿐만 아니라 스캐폴딩된 방법론 적응이 필요합니다. 코드와 벤치마크는 오픈소스로 공개되어 있습니다.

arXiv:2606.03889v3cs.CL

RealClawBench: 실제 개발자-에이전트 세션에서의 라이브 OpenClaw 벤치마크

RealClawBench: Live OpenClaw Benchmarks from Real Developer-Agent Sessions

에이전트 벤치마크는 사용자가 배포된 에이전트에게 실제로 요청하는 내용을 반영해야 하지만, 기존 벤치마크는 종종 실제 개발자-에이전트 세션의 핵심 현실성 특성을 놓치곤 합니다. 본 논문에서는 배포된 에이전트 사용의 분포, 다양성 및 실제 난이도를 포착하기 위해 실제 OpenClaw 세션에서 구축된 라이브 벤치마크 프레임워크인 RealClawBench를 소개합니다. 실제 사용자 요청은 종종 로컬 실행 환경에 의존하고, 암묵적이거나 명세가 불충분한 의도를 포함하며, 사소하지 않은 검증이 필요하므로 벤치마킹하기 어렵습니다. RealClawBench는 재구성된 실행 환경과 결정론적 검증 가능 채점기라는 두 가지 핵심 메커니즘을 통해 이러한 문제를 해결하며, 이를 통해 실제 세션을 재현 가능하고 자동으로 채점되는 작업으로 변환합니다. 결과적으로 공개된 데이터셋은 원본 분포를 보존하면서 훨씬 더 큰 실제 세션 풀에서 샘플링된 281개의 실행 가능한 작업을 포함하며, 최종 결과물과 원본 간의 최대 젠센-섀넌 발산(Jensen-Shannon divergence)은 0.0448입니다. 14개의 최신 모델에 대한 평가 결과, 최상의 시스템조차 작업의 65.8%만 해결할 수 있어, 현실적인 개발자-에이전트 워크로드(workload)에서는 상당한 개선 여지가 있음을 보여줍니다. 실제 배포된 세션을 통제된 평가 인스턴스로 변환함으로써, RealClawBench는 실제 사용 환경에서의 에이전트 능력을 더 정확히 측정할 수 있는 벤치마크로 나아가는 실용적인 경로를 제공합니다. 코드는 https://anonymous.4open.science/r/real-claw-bench-582B 에서 확인할 수 있습니다.

arXiv:2607.22711v1cs.LG

CORVUS: LLM 코딩 에이전트를 위한 기저 동기화 기반 컨텍스트 최적화 및 축소

CORVUS: Context Optimization and Reduction Via Underlying Synchronization for LLM Coding Agents

LLM 코딩 에이전트는 추론, 도구 호출, 결과를 누적하는 궤적(trajectory)을 구성하여 다단계 의사결정을 가능하게 합니다. 그러나 실무에서 사용되는 기존의 append-only 궤적 아키텍처는 파일 읽기 동작과 그 관측 결과를 긴밀하게 결합하여, 시간순 기록에 영구적으로 고정되는 스냅샷을 캡처합니다. 에이전트 편집이나 동시에 이루어지는 사용자 수정으로 파일이 변경되면 이러한 스냅샷은 오래되어 추론 오류를 유발하고, 에이전트가 불필요하게 파일을 다시 읽게 되며, 재읽기마다 궤적에 또 다른 사본이 추가됩니다. 이를 완화하기 위해, 우리는 관련 파일의 동기화된 레지스트리를 유지하고 각 추론 주기마다 현재 내용만 주입함으로써 파일 읽기 동작과 관측 결과를 분리하는 새로운 궤적 아키텍처인 CORVUS를 제안합니다. 이 구조적 변경은 실제 코드베이스 상태와 구조적으로 동기화된 훨씬 가벼운 궤적을 생성하여, 기존 궤적을 비대하게 만드는 중복 파일 사본과 오래된 스냅샷을 제거합니다. 우리는 네 가지 LLM에서 SWE-POLYBENCH_VERIFIED 및 SWE-BENCH PRO에 대해 CORVUS를 평가하였으며, 작업당 평균 입력 토큰을 9-50% 감소시키고, 최종 프롬프트를 15-32% 단축하며, 추론 주기를 최대 37% 줄이면서도 유사한 통과율을 유지하였습니다.

arXiv:2607.24604v1cs.CL

루핑은 신뢰성이 아니다: 에이전트 코드 수리를 위한 상태-경계 증거와 타입 지정 개정 계약

Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair

생성-테스트-수정 루프는 코딩 에이전트에서 흔하지만, 반복만으로는 신뢰성을 보장하지 않는다. 우리는 올바른 패치를 찾는 것과 그것을 유지·검증·제출하는 것 사이의 간극을 연구한다. 봉인된 5-seed 연구에서 30개 HumanEval 수리에 대해 900개의 3-개정 궤적이 생성된다. 강제 개정 하에서, 현재 트레이스를 사용한 현재 정확도는 1회 개정 후 0.820에서 2회 개정 후 0.673으로 떨어지지만, ever-correct는 0.847까지 상승한다. 두 common-state 연구는 동일한 동결 프로그램에서 2,430개 분기를 사용하여 사후 처리 risk-set 바이어스를 제거한다. 사전 지정된 14B 복제에서, stale 트레이스는 현재 트레이스의 4/135에 비해 34/135의 correct-start를 손상시키며, 22.2포인트 증가(task-cluster 95% CI [8.9, 37.0], exact Holm p=0.0337)를 보인다. 전향적 540-롤아웃 정책은 관측된 correct-start 손상을 제거하지만 wrong-start 수리를 줄이고 공동 기준을 충족하지 못한다. 24개 버그와 4개 coder stack에 대한 저장소 실험은 Holm-유의 효과 없이 바닥 효과와 구성요소 이질성을 드러낸다. 따라서 우리는 admission, preservation, grounded certification, competence, liveness를 분리한다. 우리는 증거-경계 타입드 루프 계약을 도출하고, 검증자 증거를 정확한 코드 상태에 바인딩하고 검증된 체크포인트를 보존하며 감사 가능한 admission 영수증을 출력하는 참조 구현에서 기계적으로 강제 가능한 부분집합을 구현한다. 이 구현은 실행 가능한 명세 및 적합성 아티팩트이며, 수리 역량 향상이나 보정된 검증자 의존성에 대한 증거가 아니다.

arXiv:2607.22642v1cs.AI

CRAFT: 스키마를 학습하고 계획을 실행

CRAFT: Learn the Schema, Execute the Plan

기업용 코딩 에이전트는 자연어 분석 요청을 독점 API, 스키마, 지표 정의 위에서 실행 가능한 코드로 변환한다. 그러나 각 프롬프트에 포괄적인 스키마 및 도구 문서를 주입하는 지배적인 배포 패턴은 추론 오버헤드를 증가시키고, 스키마 진화를 복잡하게 하며, 다중 턴 분석에서의 신뢰성을 저하시킨다. 우리는 대신 사후 학습을 통해 안정적인 스키마 지식과 도구 사용 행동을 습득할 수 있는지, 동시에 프로덕션 대면 분석에 필요한 일관성을 유지할 수 있는지 조사한다. 우리는 스키마 기반 코딩 에이전트를 위한 2단계 사후 학습 레시피인 CRAFT를 제안한다. 첫째, 스키마 제거 PLAN 지도 미세조정은 포괄적인 프롬프트 시점 스키마 주입 없이 검증된 궤적로부터 도메인 구조화 계획과 실행 가능한 행동을 학습한다. 둘째, 실행 형태 강화학습은 도구 선택, 코드 품질, 계획-코드 일관성, 실패한 실행으로부터의 복구를 위해 정책을 정렬한다. 학습 궤적은 실행 검증, 데이터 무결성 검사, LLM 판사 추론 감사를 결합한 Tri-Gate 필터를 통해 선별된다. 우리는 광고 분석에서의 계획된 롤아웃을 위해 CRAFT를 평가하며, 캠페인 성과 분석, 지표 드릴다운, 엔티티 수준 성과 분석, 다중 턴 분석 정제를 다룬다. 기업 평가 환경은 에이전트 대면 도구 표면으로 베타 API를 통합하며, 25개의 스키마 연결 핵심 엔티티와 30개의 에이전트형 워크플로를 포괄한다. 스키마 과다 주입 기준선 대비 CRAFT는 복합 Agent Score를 +9.6 pp, 일관성을 +4.1 pp, 다중 턴 일관성을 +4.2 pp 향상시키며, 입력 토큰 부담을 약 9배, 스키마 발견 루프를 최대 5배 감소시킨다. 우리는 또한 배포 트레이드오프, 보상 형성 한계, 기업 환경에서 다중 턴 도구 사용 강화학습에 필요한 학습 인프라 확장을 보고한다.

arXiv:2607.22585v1cs.AI

코딩 에이전트의 스캐폴드 효과: 코딩 에이전트 평가에서 하네스 선택이라는 숨은 변수

The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation

공개 코딩 에이전트 리더보드는 일반적으로 모델 이름과 통과율로 시스템을 순위 매기지만, 주변 하네스(도구를 호출하고, 컨텍스트를 관리하며, 종료 시점을 결정하는 스캐폴드)는 종종 충분히 명시되지 않는다. 하네스가 고정된 경우 모델 간 비교는 유효하다. 하네스가 달라지면 성능과 효율성에서 모델 효과와 스캐폴드 효과가 뒤섞인다. 우리는 Terminal-Bench Pro의 층화된 50개 태스크 부분집합에서 세 가지 오픈소스 하네스(Goose, OpenCode, OpenHands-SDK)에 걸쳐 Qwen 3.6 Plus와 MiniMax M2.5를 평가한다. 하네스 선택은 해결된 태스크당 토큰 수에서 최대 40배 차이를 유발하는 반면, 쌍체 내 모델별 통과율 차이는 0–8퍼센트포인트로 유지된다(95% 쌍체 태스크 부트스트랩 신뢰구간(CI)은 가장 큰 격차를 제외하고는 0을 포함한다). 실패 지문(fingerprint)은 모델 간에 재현된다(Goose의 REASON, OpenHands-SDK의 VERIFY/MAX_TURNS, OpenCode의 idle-loop/TIME), 이는 대체로 모델과 무관한 하네스 수준의 편향을 나타낸다. 인간 중심 코딩 에이전트 평가에서 모델 이름만으로는 불완전한 비교 단위이다. 하네스-모델 쌍이 실제 비용, 지연 시간(latency), 감독 부담을 결정한다. 무동작(no-action) 턴은 단순한 토큰 비용이 아니라 태스크당 대기 세금(wait tax)이다. 따라서 토큰/지연 시간 예산 하에서 통과율 기준으로 하네스-모델 쌍을 선택하고, 모델 비교 시 토큰 사용량, 지연 시간, 전체 하네스 사양을 함께 보고할 것을 권고한다. 익명화된 설정, 원시 시행 로그, 집계 스냅샷, 분석 스크립트를 공개한다.

arXiv:2607.21832v1cs.SE

AI 코딩 에이전트는 소프트웨어 개발에 어떻게 기여하는가? 에이전틱 풀 리퀘스트에 대한 실증 연구

How Do AI Coding Agents Contribute to Software Development? an Empirical Study of Agentic Pull Requests

최근 대규모 언어 모델(LLM)의 발전과 소프트웨어 공학 작업 전반에 걸친 급속한 도입으로, 인공지능(AI) 코딩 에이전트는 현대 소프트웨어 개발 워크플로의 필수 구성 요소가 되었다. 개발자들이 이러한 코딩 에이전트로부터 점점 더 많은 이점을 얻고 있지만, 소프트웨어 품질에 미치는 영향은 여전히 충분히 이해되지 않았다. 특히 소프트웨어 개발 수명 주기 전반에 걸쳐 에이전틱 기여가 어떻게 변화하는지는 철저히 조사되지 않았다. 본 연구는 에이전틱 풀 리퀘스트(PR)를 사람이 생성한 PR과 비교하여 특성을 규명하고, 개발 수명 주기의 서로 다른 단계에서 그 속성이 어떻게 변화하는지 조사하는 것을 목표로 한다. AIDev 데이터셋을 사용하여, 먼저 에이전틱 PR과 사람이 생성한 PR 간 병합률 차이가 시간에 따라 어떻게 변하는지 분석한다. 다음으로 AI 코딩 에이전트가 주로 적용되는 개발 작업 유형을 파악하고, 이러한 작업 분포가 개발 분기(quarter)에 걸쳐 어떻게 변화하는지 조사한다. 마지막으로 에이전틱 PR과 사람이 생성한 PR의 핵심 특성들을 비교하며, 소프트웨어 품질에 대한 함의와 시간적 역학에 초점을 맞춘다. 전반적으로 본 연구 결과는 소프트웨어 개발에서 AI 코딩 에이전트의 역할에 대한 실증적·종단적 관점을 제공하며, 실제 현장에서의 이점과 한계에 대한 보다 미묘한 이해를 제시한다.

arXiv:2607.20911v1cs.CL

Tencent WorkBuddy Bench: 오염 저항형 태스크 구성을 갖춘 다중 도메인 코딩 에이전트 벤치마크

Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction

우리는 코딩 에이전트를 위한 다중 도메인 평가 모음인 Tencent WorkBuddy Bench를 소개한다. 본 보고서는 그 구성 방법론, 채점 프로토콜, 그리고 교차 모델 리더보드를 기록한다. 핵심은 Code, Web, Office, Security라는 네 가지 작업 도메인에 걸쳐 분포 정보를 반영한 코딩 에이전트 태스크를 구성하고 실행하기 위한 통합 평가 프레임워크이다. 공개 이슈 텍스트를 적응하는 대신, 모든 태스크는 실제 커밋, pull request, 또는 비즈니스 시나리오에서 역공학(reverse-engineered)되어 짧고 구어체적이며 역할극 형식의 요청으로 재작성되므로, 태스크의 프롬프트는 기반 이슈, pull request, 또는 커밋 스레드를 웹 검색으로 복구할 수 없다. 데이터셋이 태스크 디렉터리, 환경 이미지, 평가 하네스, 테스트, 참조 솔루션과 함께 공개적으로 배포되기 때문에, 오염(contamination) 저항성은 비밀 유지가 아니라 이러한 구성 방식과 데이터셋 버저닝에 기반한다. 네 가지 하위 집합—저장소 수준 엔지니어링, 프론트엔드 개발, 오피스 및 비즈니스 워크플로, 레드팀/블루팀 보안—은 각자 고유한 검증 방식으로 실제 업무의 상보적인 측면을 탐색한다. 모두는 통일된 태스크 디렉터리 형식으로 패키징되며, 통일되고 재현 가능한 프로토콜 하에서 두 에이전트 하네스(CodeBuddy Code 및 Claude Code)에서 실행된다. 전면 공개 배포는 벤치마크를 종단 간(end to end) 재현 가능하고 직접 감사 가능하게 하며, 제3자가 각 태스크를 재실행하고 그 내용을 검사할 수 있기 때문이다. 각 하위 집합이 서로 다른 채점 도구를 사용하기 때문에, 점수는 하위 집합 간 비교 가능하지 않으며, 이 모음은 전체 평균을 보고하지 않는다. 우리는 여러 모델 패밀리에 걸친 교차 모델 리더보드를 보고한다.

arXiv:2607.21217v1cs.AI

ICAE-Bench: 대화형 프로젝트 구축자로서의 코딩 에이전트 평가

ICAE-Bench: Evaluating Coding Agents as Interactive Project Builders

최근 vibe-coding 워크플로의 등장은 코딩 에이전트에 기대되는 역할을 바꾸고 있다. 완전히 명시된 지시 하에서 코드를 완성하는 것에 그치는 대신, 에이전트는 계획, 요구사항 명확화, 도구 사용, 디버깅, 저장소 수준 구축 등 다양한 능력을 결합하여 불완전한 제품 의도를 동작하는 소프트웨어로 변환하는 것이 점점 더 기대되고 있다. 그러나 기존 벤치마크는 이러한 변화를 완전히 따라잡지 못하고, 정적이고 완전히 명시된 과제에서 에이전트를 평가하고 있다. 본 논문에서는 대화형 프로젝트 구축 설정 하에서 코딩 에이전트를 평가하기 위한 벤치마크인 ICAE-Bench를 소개한다. 기본 아이디어는 모호한 제품 요구사항에서 출발하여 자동화된 User Agent로 동적 패러다임을 시뮬레이션하는 것이다. 현실적이면서도 평가 가능한 설정을 위해 ICAE-Bench는 세 가지 핵심 설계를 도입한다. 첫째, 제약 없는 모호한 요구사항의 애매함을 피하기 위해 각 과제는 실행 가능한 동작을 갖춘 정확한 실제 오픈소스 저장소로부터 모호성을 유도한다. 둘째, 고품질이고 재현 가능한 사용자 시뮬레이션을 보장하기 위해 ICAE-Bench는 User Agent Data를 통해 상호작용을 그라운딩(grounding)하여 User Agent가 새로운 요구사항을 만들어내거나 구현 산출물을 유출하지 않고 숨겨진 제약을 드러낼 수 있게 한다. 셋째, 개방형 저장소를 공정하게 평가하기 위해 ICAE-Bench는 표준화된 블랙박스 테스트와 함께 기능적 정확성, 의미적 및 API 유사성, 구조적 충실도, 설계 품질, 상호작용 품질을 포함한 다차원 진단을 사용한다.

arXiv:2607.20972v1cs.AI

전달이지 저장이 아님: 코딩 에이전트를 위한 하네스 속성으로서의 단서 고정형 작업 기억

Delivery, Not Storage: Cue-Anchored Working Memory as a Harness Property for Coding Agents

코딩 에이전트는 한 종류의 기억만 갖추고 출시된다: 문서. 지시 파일, 계획 산출물, 자동 기록된 메모리 디렉터리는 의도적으로 작성되고 의도적으로 검색된다. 에이전트는 이를 쓰기로 선택하고 다시 읽기로 선택해야 한다. 인간의 전문성은 결코 기록되지 않는 두 번째 층위에서 작동한다. 작업의 부수 효과로 인코딩되고, 상황이 단서를 제공할 때 비자발적으로 검색되는 상황에 묶인 운영적 사실(함정, 위치, 지역적 관례)이다. 우리는 이 두 번째 층위가 장기 실행 에이전트에 있어 부하를 지탱하는 핵심이며, 에이전트의 선택이 아니라 하네스 속성이 되어야 한다고 주장한다. 우리의 기여는 다음과 같다. (1) 인지 문헌의 기억 오프로딩, 부수적 인코딩, 사건 기반 전향적 기억에 기반한 이중 층위 설계 이론으로, 각각을 아키텍처 요구사항에 매핑한 것. (2) 기억이 구성 가능한 어휘(경로, 심볼, 의미, 사건, 시간)에 걸친 일급 트리거 조건을 지니고, 하네스에 의해 결정적으로 평가되는 단서 고정형 기억 모델로, 조사한 학술·상용 시스템 어디에도 없는 구성. (3) 실제 코딩 작업에 대한 통제된 평가로, 사전 시드된 저장소가 있어도 자발적 기억 사용은 거의 0(114턴 중 0회 메모리 연산)이며, 결정적 주입은 모든 시드 실행에서 오경보 0으로 전달되었고, 세션 내 재읽기의 39%가 압축 경계 이전에 이미 지불한 내용을 다시 구매함을 보여준 것. (4) 반복 압축 감쇠 탐침: 대화에만 보관된 열 가지 사실은 첫 요약에서 사라지고 108회 압축 중 106회에서 계속 없으며, 박탈된 에이전트는 하네스 자체 세션 파일을 grep하여 이를 재구성하는 반면, 하네스 소유 저장소에서 주입된 동일 사실은 최종 요약에 아무것도 담기지 않음에도 138회의 compact-resume 전체를 무손실로 통과한다. 전달이지 저장이 아니다, 이것이 핵심이다. 에이전트를 위한 신뢰할 수 있는 기억 채널은 에이전트가 전혀 생각할 필요가 없는 채널이다.

arXiv:2607.20759v1cs.CR

IssueTrojanBench: 악성 이슈 요청에 대한 AI 코딩 에이전트 벤치마크

IssueTrojanBench: Benchmarking AI Coding Agents Against Malicious Issue Requests

대규모 언어 모델(LLM) 기반 AI 코딩 에이전트는 실제 소프트웨어 개발에 점점 더 많이 통합되고 있으며, 로컬 파일과 도구에 자율적으로 접근하면서 코드를 생성·편집·실행한다. 코딩 에이전트는 LLM 백본과 에이전트형 아키텍처 양쪽에서 보안 위험을 물려받는다. LLM 백본에서는 적대적 프롬프트, 오염된 학습 데이터, 백도어 트리거가 모델이 안전하지 않거나 공격자가 선택한 코드를 출력하게 할 수 있고, 에이전트형 아키텍처에서는 도구 사용 자율성이 외부 API의 유도된 오용, 데이터 유출, 개발 환경의 지속적 침해를 가능하게 한다. 본 논문은 두 주요 모델 계열(OpenAI GPT-5.3 Codex/GPT-5.4 및 Anthropic Sonnet 4.6)로 구동되는 최신 코딩 에이전트(Cursor, Claude Code, Codex Desktop)에 대한 악성 이슈 요청의 체계적 평가를 제시한다. 우리의 새로운 벤치마크 IssueTrojanBench는 네 가지 새로운 공격 범주(즉, 이슈에 악성 지시로 내장), 여섯 가지 전달 벡터(예: PDF 또는 이슈 댓글)를 기반으로 구성된 악성 이슈를 포함하며, 추가로 교란으로 증강된다. 우리의 결과는 배포된 현대 코딩 에이전트의 심각한 취약점을 드러낸다. 즉, IssueTrojanBench의 악성 이슈 중 66.5%가 코딩 에이전트의 모든 가드레일(에이전트 및 LLM 수준)을 뚫는다. 추가 분석 결과, 거부는 에이전트 프레임워크보다 거의 전적으로 LLM에서 발생하며, GPT 모델은 광범위하게 취약하고 Sonnet 4.6은 고영향 행동에 대해 더 선별적이고 위험 인식적인 차단을 보인다. 우리의 평가는 또한 현재의 에이전트 수준 방어 전략이 코딩 에이전트에 추가적인 보호를 거의 제공하지 못함을 강조한다. 우리의 발견은 AI 코딩 에이전트를 보호하기 위한 더 강력한 에이전트 및 모델 수준 안전성(safety) 메커니즘의 시급한 필요성을 강조한다.

arXiv:2607.14573v3cs.AI

Alipay-PIBench: 코딩 에이전트를 위한 현실적인 결제 통합 벤치마크

Alipay-PIBench: A Realistic Payment Integration Benchmark for Coding Agents

결제 통합은 까다로운 저장소 수준(repository-level) 소프트웨어 작업이다. 에이전트는 적절한 제품을 선택하고, 조율된 클라이언트-서버 흐름을 구현하며, 결제 결과를 검증하고, 거래 상태와 비즈니스 상태 간의 일관성을 유지해야 한다. 우리는 현실적인 Alipay 결제 통합에서 코딩 에이전트를 평가하기 위한 벤치마크인 Alipay-PIBench를 소개한다. 이는 9개의 제품별 프로젝트와 18개의 태스크 인스턴스를 포함하며, 각각 Basic 기능 완성(functional-completion)과 Advanced 위험 인식 강화(risk-aware hardening) 시나리오로 구성된다. 시나리오별 루브릭(rubric)은 결정론적 정적·단위·통합·엔드 투 엔드(end-to-end) 검사를 지원하며, 의미론적 요구사항에 대해서는 대규모 언어 모델(LLM) 보조 평가가 이를 보완한다. 6개의 코딩 에이전트 모델을 평가하고 루브릭 통과율(RPR)을 보고한다. with-skill 조건에서 평균 RPR은 68.58%에서 91.37% 범위이다. alipay-payment-integration 스킬에 대한 접근은 without-skill 조건 대비 평균적으로 평균 RPR을 10.31%p 향상시키며, 이는 모델, 제품, 시나리오에 따라 다르다. 방법 수준의 결과는 소스 수준 완성, 실행 가능한 결제 동작, 결제 도메인 요구사항을 구분한다. Alipay-PIBench는 결제 통합에서 모델 역량을 진단하고 구조화된 가이던스를 평가하기 위한 통제된 환경을 제공한다.