PyTorchKR Papers

최신 논문

총 79편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15708v1cs.AI

SpecForge: 동작 명세를 통한 코딩 에이전트의 재귀적 자기 개선

SpecForge: Recursive Self-Improvement for Coding Agents via Behavioral Specifications

동결된 언어 모델 기반의 코딩 에이전트(agent)는 모델(model) 가중치를 업데이트하지 않고도 자신이 의존하는 외부 컨텍스트를 개선함으로써 성능을 향상할 수 있습니다. 본 연구에서는 프로그램 엔티티의 동작을 기술하고 에이전트가 올바른 코드를 생성하도록 안내하는 자연어 코드 문서인 동작 명세(behavioral specification)를 통한 재귀적 자기 개선을 탐구합니다. 우리는 에이전트가 현재 명세로부터 코드를 생성하고, 실행 검증된 테스트로 이를 평가(evaluation)하며, 관찰된 실패를 바탕으로 명세를 개선하는 자기 개선 루프를 정식화합니다. 이렇게 개선된 명세는 이후의 코드 생성을 유도하여 에이전트의 코드베이스 이해도를 점진적으로 향상시킵니다. 그러나 프로그램 엔티티들은 상호 의존적이기 때문에 재귀적 개선은 까다롭습니다. 한 엔티티의 명세를 개선하는 과정에서 다른 엔티티의 정확도가 의도치 않게 저하될 수 있으며, 우리는 이를 출력 결합(output coupling) 현상이라고 부릅니다. 이는 국소적인 개선이 다른 곳에서 회귀를 유발하여 일관된 발전을 저해하는 두더지 잡기 효과를 야기합니다. 우리는 세 가지 메커니즘을 통해 이 문제를 해결하는 다중 프론티어 트리 탐색 프레임워크인 SpecForge를 소개합니다: (i) 파레토(Pareto) 기반 상태 선택은 상호보완적인 명세 상태를 보존하고 조기 확정을 방지하며, (ii) 의존성 제약 엔티티 선택은 피호출자 우선 정제를 우선시하고, (iii) 오류 다양화 확장은 서로 다른 테스트 실패 부분집합을 활용해 다양한 개선 방안을 탐색합니다. DevEval+에서 SpecForge는 5개 백본 모델에 걸쳐 최고 성능을 달성했으며, 여기에는 Claude-4.5-Sonnet을 통한 94.9% 해결률과 가장 강력한 기준선(baseline) 대비 평균 5.7%포인트 향상이 포함됩니다. 또한 개선된 명세는 에이전트가 루프 외부의 작업을 수행하는 능력도 향상시킵니다. 즉, 교차 언어 번역 및 새로운 기능(feature) 구현으로 전이되어 벤치마크(benchmark)에서 제공된 요구사항 문서를 능가하는 성능을 보였습니다.

arXiv:2610.13841v1cs.LG

개발 상태로의 복귀: 전체 샌드박스 스냅샷이 코딩 에이전트에 도움이 되는 시점

Returning to Development States: When Full Sandbox Snapshots Help Coding Agents

코딩 에이전트(coding agent)는 실패하기 전까지 유의미한 진전을 보이는 경우가 많지만, 처음부터 다시 시도(retry-from-scratch)하면 그 과정에서 생성된 머신 상태가 폐기됩니다. 이로 인해 실패 복구는 흥미로운 탐색 문제가 됩니다. 즉, 중간 환경(environment) 상태가 유의미한 진전을 보존하고 있다면, 이를 복원하고 그로부터 분기하는 것이 초기 상태에서 반복적으로 재시작하는 것보다 우수한 성능을 보일 수 있습니다. 본 연구에서는 전체 Daytona 스냅샷에 대해 Go-Explore 방식의 탐색을 구현하였으며, 더 높고 효율적인 해결률은 주로 데이터베이스, 서비스 및 기타 런타임 상태와 같이 저장소 외부에 존재하는 진전에 좌우된다는 점을 발견했습니다. 실험 결과는 전체 스냅샷 탐색이 단일 diff로는 재구성할 수 없는 여러 서비스에 걸쳐 상태가 존재하는 장기적(long-horizon) 코딩 작업에서 가장 효과적임을 시사합니다.

arXiv:2610.13395v1cs.SE

ProgramGym: 장기 프로그램 재현 에이전트를 위한 학습 환경 확장

ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents

코딩 에이전트(coding agent)는 저장소 내의 이슈를 해결하거나 주어진 요구사항 명세서로부터 저장소를 생성하는 것을 넘어, 소프트웨어 엔지니어처럼 처음부터(from scratch) 프로그램을 구축하는 데 점점 더 많이 활용되고 있습니다. 그러나 에이전트가 필요한 요구사항을 직접 파악하고 시스템 설계 방식을 결정하도록 강제하는, 확장 가능하고 검증 가능한 학습(training) 환경은 여전히 부족합니다. 또한 기존 에이전트 워크플로는 구현 전에 참조 프로그램을 탐색하는 장기(long-horizon) 개발 과정을 지속하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 장기 프로그램 재현 에이전트를 위한 확장 가능한 학습 환경 프레임워크이자 Program-Env 및 Program-Agent로 구성된 ProgramGym을 소개합니다. 구체적으로 Program-Env는 런타임 샌드박스 빌드와 블랙박스 테스트 품질을 복구하는 피드백 기반 루프를 통해 저장소로부터 검증 가능한 학습 환경을 구축합니다. 이 새로운 파이프라인을 활용하여 C, C++, Go, Rust에 걸친 1,648개의 학습 환경을 확보했습니다. Program-Agent는 컴파일 검사 및 실패 복구를 위한 리비전 관리와 함께 분석, 구현, 검토의 역할 분리 워크플로를 결합합니다. ProgramBench 실험 결과는 Program-Env와 Program-Agent 모두 프로그램 재현 성능을 향상시킴을 보여줍니다. 이렇게 구축된 환경에서 얻은 궤적으로 미세조정(fine-tuning)을 수행하면 Qwen3.8-27B의 성능이 34.87%에서 42.84%로 향상됩니다. Program-Agent는 베이스 및 SFT 모델의 성능을 각각 55.71%와 56.25%까지 추가로 향상시키며, 두 모델 모두 일부 플래그십 모델을 능가합니다. 처음부터 프로그램을 구축하는 코딩 에이전트에 대한 후속 연구를 지원하기 위해 ProgramGym을 공개할 예정입니다.

arXiv:2610.13361v1cs.SE

AgentSWE: 코딩 에이전트는 사용자가 실제로 원하는 에이전트를 구축할 수 있는가?

AgentSWE: Can Coding Agents Build the Agent You Actually Want?

소프트웨어 제작이 소프트웨어 자체의 손에 맡겨짐에 따라, 코딩 에이전트(coding agent)가 사용자의 자체 워크플로에 맞춤화된 에이전트를 구축하도록 위임받는 사례가 점차 늘어나고 있습니다. 이러한 위임에는 제공된 에이전트가 단지 그렇게 보이는 것에 그치지 않고, 구축 목적이었던 요구사항을 충실히 수행할 것이라는 암묵적인 가정이 깔려 있습니다. 그러나 기존의 어떤 벤치마크도 이 가정을 검증하지 않습니다. 본 논문에서는 자연어 요구사항으로부터 완전한 에이전트를 제작하는 생성(Creation), 프로덕션 에이전트 코드베이스의 수정(Editing), 측정 가능한 목표를 향한 최적화(Optimization)라는 에이전트 개발 수명 주기의 3단계를 아우르는 에이전트 소프트웨어 엔지니어링 벤치마크인 AgentSWE를 소개합니다. 25개의 각 태스크는 시험이라기보다는 의뢰의 형태로 구성됩니다. 즉, 빌더는 소수의 예시 케이스를 바탕으로 반복 개선하고, 인수 평가 단계에서는 엄격한 통과/실패 기준을 적용한 요구사항 기반 루브릭에 따라(최적화의 경우 원본 벤치마크 자체의 목표에 따라) 고정된 제출물을 전체 요구사항을 포괄하도록 설계된 홀드아웃(held-out) 케이스에서 실행하여 동작을 채점합니다. 다양한 모델과 하네스에 걸쳐 여러 코딩 에이전트를 평가한 결과, 요구사항이 요구하는 바를 제대로 제공하는 에이전트는 전무했습니다. 빌더가 시연하는 모습과 실제로 제공하는 결과물 사이의 격차는 예외적인 경우가 아니라 일반적인 현상이었습니다. 실패 궤적에 대한 실증적 분석을 통해 확인된 반복적인 실패 모드로는 가시적인 케이스에 대한 과적합, 완성된 것처럼 보이는 코드 이면의 빈껍데기 런타임, 근거 없는 완료 주장 등이 있었으며, 이는 코딩 에이전트가 요청받은 에이전트를 구축하는 방법을 학습할 수 있는 각각의 신호가 됩니다.

arXiv:2610.13356v1cs.AI

SWE-Critix: 코딩 에이전트 궤적 평가를 위한 범용 검증기 사후 학습

SWE-Critix: Post-Training Generalist Verifiers for Assessing Coding-Agent Trajectories

코딩 에이전트는 엔드투엔드 소프트웨어 엔지니어링 작업에 점점 더 많이 배포되고 있지만, 성공 기준을 정의하는 즉시 사용 가능한 오라클 평가자가 없는 경우가 많다. 이는 코딩 에이전트의 행동을 신뢰성 있게 판단하고 설명할 수 있는 검증 방법에 대한 필요성을 불러일으킨다. 그러나 코딩 에이전트가 장기간에 걸친(long-horizon) 소프트웨어 엔지니어링 작업을 해결하는 능력이 점점 향상되면서 검증은 결코 간단하지 않다. 이들의 실행 궤적(trajectory)은 매우 길어질 수 있으며, 코드 저장소 및 외부 도구와의 수백 차례에 이르는 반복적 상호작용을 포함한다. 기존 검증기들은 전문적인 학습 없이 범용 LLM에 의존하거나, 주로 스칼라 보상(scalar reward) 생성에 초점을 맞춘 전용 비평가(critic)를 학습시키는 데 그치고 있어, 학습 기반 범용 검증(generalist verification)에 대한 탐험이 상대적으로 제한적이었음을 보여준다. 우리는 코딩 에이전트 궤적에 대한 범용 검증기를 학습시키기 위한 사후 학습 파이프라인인 SWE-Critix를 소개한다. 작업과 그 실행 궤적이 주어지면, 학습된 검증기는 완료 레이블(completion label)을 예측하고 그 판단을 설명하는 자연어 분석을 생성한다. 본 파이프라인은 지도 미세조정(SFT)과 강화학습(RL)을 결합하며, CodeForge-Preview의 궤적 데이터를 사용하여 일련의 30B 모델들을 학습시킨다. 홀드아웃 테스트 세트에서 SWE-Critix는 분류 정확도를 기본 Qwen3-30B-A3B 추론 모델의 57%에서 SFT 이후 66%, RL 이후 78%까지 향상시킨다. 우리는 추가 연구를 촉진하기 위해 모델, 데이터셋, 학습 코드를 공개한다.

arXiv:2610.10961v1cs.SE

코딩 에이전트를 위한 런타임 계약으로서의 교차 제공자 검토: 통제된 파일럿 및 결함 주입 연구

Cross-Provider Review as a Runtime Contract for Coding Agents: A Controlled Pilot and Fault-Injection Study

코딩 에이전트(coding agent)들은 서로 다른 제공자와 구독 한도를 활용하면서 단일 워크스테이션을 공유하는 경우가 점점 늘고 있습니다. 제2의 에이전트가 완성된 답변을 점검할 수 있지만, 이러한 호출은 또 다른 리소스 풀을 소모하며 실질적인 발견점을 제시하지 못할 수도 있습니다. 본 연구에서는 별도의 리소스 풀, 제한된 실행, 제한된 검토자 권한, 완전한 입력 전달, 사용 가능한 의미적 출력, 명시적인 실패 상태, 시도별 영구적 증거를 갖춘 자문용 교차 제공자(cross-provider) 검토 계약을 설명합니다. 20회의 쌍을 이룬 개발 턴으로 구성된 통제된 에이전트 작성 파일럿에서, 8회에서 실질적인 검토자 발견점이 나타났습니다(95% 정확 구간 19.1-63.9%). 두 검토자 백엔드에 걸친 경계 조건 스캔은 부분 입력에 대해 이전에 발견되었던 허위 성공을 재현했습니다. 4가지 절단(truncation) 수준이 과거에는 통과했으나 수정 후에는 실패했습니다. 또한 이 스캔을 통해 프로세스 회수(process reaping) 중 취소 문제를 발견하고 수정했습니다. 실제 CLI 프로브에서 Claude는 쓰기 도구가 없었던 반면, Codex는 5회의 읽기 전용 시험 중 5회 모두 쓰기를 시도했으나 각 쓰기 도구 호출은 실패했고 일회용 저장소는 변경되지 않았습니다. 이러한 테스트는 지정된 경로와 버전을 다루며 현장 신뢰성을 보장하지는 않습니다. 메타데이터 전용 검토 할당에 대한 사전 등록된 섀도우 연구는 정확한 런타임 회귀 테스트에서 세 번째 결함(0이 아닌 종료 코드로 종료된 검토자가 잘 구성된 판정 결과를 냈을 때 완료된 것으로 집계되는 문제)이 발견되기 전까지 25개의 공식 관측치를 축적했습니다. 시도별로 종료 상태가 기록되지 않아 노출 여부를 소급하여 해결할 수 없었습니다. 25개의 공식 기록과 2개의 보류 기록은 감사 코호트로 유지되며, 측정 유효 코호트는 0에서 다시 시작하여 수집이 진행 중입니다. 게이트 결과는 보고되지 않습니다.

arXiv:2610.10619v1cs.SE

TestJack: 코딩 벤치마크 결과를 신뢰할 수 있는가? 평가자 진화를 통한 에이전트 기반 코딩 벤치마크 감사

TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution

대규모 언어 모델(LLM) 에이전트(agent)는 새로운 코드 벤치마크의 폭발적인 증가와 함께 소프트웨어 엔지니어링 환경을 빠르게 재편하고 있습니다. 그러나 거의 모든 기존 벤치마크는 여전히 수십 년 된 동일한 기준에 의존하고 있습니다. 즉, 고정된 단위 테스트 세트를 통과하면 해당 솔루션이 올바르다고 판단하는 것입니다. 이러한 테스트는 불충분한 경우가 많습니다. 작업에 필요한 요구사항 중 일부만 검사하므로, 에이전트가 모든 테스트를 통과하면서도 보상 해킹(reward hacking)을 하거나 필수 동작을 은밀히 누락할 수 있습니다. 결과적으로 더 높은 벤치마크 점수는 더 뛰어난 문제 해결 능력보다는 평가자에 더 잘 적응했음을 부분적으로 반영할 수 있습니다. 기존 연구들은 정적 테스트 증강에 초점을 맞추고 있습니다. 즉, 어떠한 시도도 관찰하기 전에 각 작업의 테스트를 사전에 한 번 강화하므로, 실제 시도가 실제로 어떻게 실패하는지를 간과합니다. 본 논문에서는 고정된 테스트를 넘어 패치를 평가하기 위한 확장 가능한 프레임워크인 TestJack을 소개합니다. TestJack은 각 시도마다 패치가 위반할 수 있는 프롬프트 요구사항을 겨냥한 테스트를 생성하고, 정답 패치가 통과한 테스트만 유지하며, 모든 시도 실패를 재검토합니다. 따라서 확인된 각 실패는 재생 가능한 테스트를 통해 뒷받침됩니다. 또한 평가 비용을 줄이기 위해 무작위로 추출된 시도 샘플을 심층 감사하고, 그 결과로 얻은 테스트를 동일한 작업의 모든 시도에 재사용하는 경량 변형 모델도 소개합니다. 6개의 프론티어 모델 백엔드와 DeepSWE 및 SWE Marathon을 포함한 5개 벤치마크에 걸쳐 평가한 결과, 현재 올바른 것으로 판정된 모델 시도의 약 34.4%가 작업 요구사항을 위반하여 전체 해결률(resolution rate)이 50.6%에서 33.2%로 낮아지는 것을 발견했습니다. 본 연구 결과는 현재 코딩 에이전트 평가의 근본적인 한계를 드러냅니다. LLM이 고정된 평가자에 맞추어 최적화하는 능력이 향상됨에 따라, 평가자 자체도 더욱 적응적으로 진화해야 합니다.

arXiv:2610.10610v1cs.SE

코드 이해는 코딩 에이전트의 병목 현상이다

Code Understanding is a Bottleneck for Coding Agents

코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.

arXiv:2610.04838v2cs.AI

MemTrace: 장기 코딩 에이전트를 위한 상태 일관적 메모리

MemTrace: State-Consistent Memory for Long-Horizon Coding Agents

코딩 에이전트(agent)가 여러 파일과 단계에 걸친 장기 소프트웨어 발전 작업을 수행함에 따라, 길어진 실행 궤적은 두 가지 연계된 문제를 야기합니다. (1) 누적된 이력으로 인해 컨텍스트 예산에 부담이 가중되고, (2) 저장소의 변경 사항으로 인해 이전 실행 근거의 유효성이 상실될 수 있습니다. 기존 접근 방식은 더 큰 컨텍스트 윈도우(context window), 압축, 검색 또는 저장소 표현과 같은 기법을 통해 이러한 문제를 해결하지만, 컨텍스트 갱신 후 일관된 작업 상태를 재구성하지 못하거나 회상된 근거가 여전히 유효한지 검증하지 못하는 경우가 많습니다. 이에 따라 본 논문에서는 실행 이력을 보존하고 변화하는 작업(예: 반복적인 파일 간 수정) 및 저장소 상태와 이력의 재사용을 정렬하는 출처 인식 메모리 시스템인 MemTrace를 제안합니다. MemTrace는 이력을 주요 정보(예: 파일, 심볼, 테스트)에 고정된 불변의 Memory Trace로 저장하며, 이들의 실행 순서와 의존성을 Memory Trace Graph로 구조화합니다. 컨텍스트가 제한될 때 작업 메모리는 컴팩트한 Memory Anchor만 유지하며, 에이전트는 이를 통해 최신 실행 상태를 재구성하고 다음 행동과 관련된 근거를 찾을 수 있습니다. 과거 근거를 복원하기 전에 MemTrace는 현재 저장소 상태에 대해 유효성을 검사하고 다음 행동에 필요한 정보만을 검색합니다. 세 가지 상호보완적인 장기 코딩 벤치마크(benchmark) 전반에서, MemTrace는 동일한 백본 및 하네스 조건 하에 완전히 평가된 모든 베이스라인을 일관되게 능가하여 Codex CLI 환경에서 DeepSWE pass@1을 21.2포인트, SWE-EVO 해결률(Resolved Rate)을 4.4포인트, SWE-Milestone 점수를 17.8포인트 향상시켰습니다.

arXiv:2609.33987v2cs.CL

Opera: 장기 코딩 에이전트를 위한 언어적 비평가 프레임워크

Opera: A Verbal Critic Framework for Long-horizon Coding Agents

장기(long-horizon) 코딩 에이전트는 시의적절한 교정이 필요하지만, 피드백이 진행 중인 작업을 잘못 판단하거나 근본적인 문제를 해결하지 못할 경우 비효과적이거나 심지어 해로울 수 있습니다. 기존의 비평가(critic)들은 궤적(trajectory)을 평가하고 피드백을 생성하는 데 초점을 맞추지만, 피드백이 전달된 이후 어떤 일이 일어나는지는 거의 추적하지 않습니다. 본 논문에서는 각 교정을 지속적인 메모로 취급하여 진단된 문제가 해결될 때까지 추적하는 언어적 비평가 프레임워크인 Opera를 제시합니다. Opera는 주기적 및 이벤트 기반 트리거를 통해 검토 시점을 결정하고, 타입화된 연산자(typed operator)로 문제를 진단하며, 전달 전에 가시적인 근거를 바탕으로 피드백을 검증하고, 에이전트의 후속 행동을 추적하여 단순한 순응과 실제 해결을 구분합니다. 테스트 시점 비평가(test-time critic)로서 Opera는 4개의 정책 모델 전반에 걸쳐 Terminal-Bench 2.1, SWE-Bench Pro 하위 집합, DeepSWE v1.1에서 비-비평가 에이전트의 해결률을 각각 최대 12.4%p, 15.0%p, 8.9%p 향상시키며, 세 벤치마크 모두에서 경쟁력 있는 비평가 베이스라인 중 가장 높은 평균 해결률을 달성하고, 정책이 스스로를 비평할 때도 정책 모델을 개선합니다. 추론을 넘어, Opera 기반 롤아웃은 대략적인 온-정책(on-policy) 학습 데이터를 제공합니다. 이를 통해 Qwen3.5-9B를 미세조정(fine-tuning)하면 추론 시 비평가 없이도 미평가(held-out) SWE-Bench Pro 리포지토리에서 해결률이 10.2%p 향상되어 더 강력한 모델의 롤아웃으로 미세조정한 것과 동등한 성과를 내는 동시에, 하네스(harness)를 전환할 때(즉, Openhands에서 Terminus-2로 전환 시 후자의 경우 성능이 크게 저하됨)에도 성능을 유지합니다. 저희 코드는 https://github.com/dongyuanjushi/Opera 에서 확인할 수 있습니다.

arXiv:2605.26144v4cs.SE

VISTA: 시각적 명세 기반 웹 앱 코딩 에이전트를 위한 엔드투엔드 벤치마크

VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents

이제 코딩 에이전트(coding agent)는 디자인 목업(mockup)으로부터 애플리케이션을 구축할 수 있지만, 겉보기에 올바른 화면이 제대로 작동하는 애플리케이션인 것은 아닙니다. 기존 벤치마크는 백엔드 없이 시각적 재구성만을 평가하거나 텍스트 요구사항을 기반으로 풀스택 기능을 테스트하며, 디자인이 요구하는 개별 컴포넌트와 점수를 연계하는 경우는 거의 없습니다. 본 논문에서는 코딩 에이전트가 다중 페이지 디자인 핸드오프(Figma 렌더링, 구조 및 텍스트 요구사항)를 실행 가능한 풀스택 웹 및 모바일(Android) 애플리케이션으로 변환하는 엔드투엔드(end-to-end) 벤치마크인 VISTA(VIsual Spec-To-App)를 소개합니다. VISTA는 18개 애플리케이션(126개 웹 페이지 및 576개 Android 화면)에 걸쳐 사람이 주석을 단 8,487개의 상호작용 컴포넌트와, 실행 중인 애플리케이션에서 주석이 달린 컴포넌트를 찾아내고 이들의 상호작용을 프로빙하여 개별 디자인 요구사항으로 추적 가능한 위치 파악(localization), 동작(behavior) 및 결합 점수를 산출하는 실행형 평가기를 제공합니다. 배포된 14개의 코딩 에이전트 시스템 전반에서 최고 결합 점수는 웹에서 0.553, 모바일에서 0.378에 불과하며, 14개 시스템 중 13개는 웹에서 위치 파악 점수보다 동작 점수가 더 낮았습니다. 컴포넌트 프로브는 감사 대상 웹 결과물의 90.1%에서 응답하지 않는 제어 요소를 감지했습니다. 개발 궤적(trace)은 프로세스가 태스크에서 벗어나는 지점을 보여줍니다. 궤적의 44.5%는 디자인 스크린샷을 전혀 열어보지 않았고, 73.0%는 규정된 자체 감사를 생략했으며, 8.3%는 검사 실패 후에도 성공을 보고했습니다. VISTA는 디자인 렌더링과 작동하는 애플리케이션 전달 사이의 격차를 개별 컴포넌트 수준에서 측정 가능하도록 만듭니다. 코드는 \href{https://github.com/kaboider/VISTA_Bench}에서 확인할 수 있습니다.

arXiv:2609.39022v3cs.SE

검증 실패로부터 코딩 에이전트를 위한 재사용 가능한 지침 도출하기

From Verification Failures to Reusable Guidance for Coding Agents

코딩 에이전트(coding agent)는 프로그램이 명세(specification)를 만족하고, 해당 명세가 요구된 동작을 정확히 담아내고 있음을 입증해야 합니다. 본 연구에서는 검증 실패에 대한 전문가의 진단이 어떻게 이러한 작업을 위한 재사용 가능한 지침이 될 수 있는지 살펴봅니다. 본 접근 방식은 K 프레임워크의 실행 가능한 언어 정의와 명세 작성, 증명 수정, 그리고 적절성 감사를 위한 절차 키트를 결합합니다. 164개의 파이썬 프로그래밍 작업으로 구성된 벤치마크인 HumanEval에서 인간 주도형 개발을 진행한 결과, 해당 시맨틱과 키트를 적용하고 두 차례의 집중 수정을 거쳐 최종 AI 감사에서 '통과(Pass)' 판정을 받음으로써 164/164의 성공률을 달성했습니다. 성공적인 증명에서도 해결되지 않은 문제를 감사가 감지할 수 있는지 검증하기 위해, 저자 검토를 거친 12쌍의 정상 패키지와 결함 패키지를 구축했습니다. 모든 패키지는 K 증명을 통과했으며, 완료된 감사는 모든 결함을 식별하고 정상 패키지를 모두 승인했습니다. 이어 연산자 의미가 변경된 31개 프로그램을 대상으로 KleverBench를 사용하여 명세 및 증명 생성을 테스트했습니다. 완전한 수락 규칙 및 동일한 길이의 일반적인 조언과의 비교에서는 두 가지 모델과 예산 설정에 걸쳐 엇갈린 결과가 나타났으며, 이는 자원 한도 내에서 유용한 지침을 선별하는 후속 연구의 필요성을 시사합니다. 인간이 검토한 Optimism 증명은 무제한 가스 환경의 London 시맨틱 하에서 선언된 입력 범위 내 6개 연산에 대해 예상되는 일시 중지 되돌리기(pause revert)를 규명합니다. 본 논문에서는 검증 가능한 정확성 논거를 갖춘 프로그램을 제공하는 에이전트를 향한 진전, 난제, 그리고 교훈을 보고합니다.

arXiv:2609.33678v3cs.AI

SWE-Game: 코딩 에이전트는 우리가 원하는 게임을 만들 수 있는가?

SWE-Game: Can Coding Agents Build the Games We Want?

본 논문에서는 2D 및 3D의 13개 게임플레이 카테고리에 걸친 41개의 실행 가능한 레퍼런스 Godot 게임을 기반으로 한 247개 태스크 벤치마크인 SWE-Game을 소개합니다. 5가지 태스크 유형은 개요(brief)로부터의 개발, 게임 디자인 문서(GDD) 기반 구현, 스켈레톤 완성, 83개의 주입된 결함 사례 복구, Godot에서 Unity로의 포팅을 다룹니다. 레퍼런스 자료는 의도된 게임플레이를 명시하며, 공유된 인스트루멘테이션 인터페이스를 통해 평가자 소유의 드라이버와 프로브가 액션을 실행하고 독립적으로 구현된 게임을 관찰할 수 있습니다. 평가는 엔진 상태 점검, 검증된 레퍼런스 입력 리플레이, 에이전트가 작성한 특징(feature) 시연을 결합하여 메커닉의 정확성, 입증된 플레이 가능성, 그리고 복구 후 행동의 복원 및 보존을 평가합니다. 게임별 비전-언어(vision-language) 루브릭은 프레젠테이션을 별도로 평가합니다. 6개 모델 전반에서 Opus5가 5가지 태스크 유형 모두에서 가장 높은 종합 점수를 기록했습니다. 3가지 제작 태스크 전반에서 최고 종합 점수는 100점 만점 중 60점 미만에 머물렀으며, Brief-to-Game은 50.38점에 도달했습니다. 검토된 제출물 분석 결과, 요구사항 누락과 게임플레이 로직 오류가 주요 구현 문제인 것으로 나타났습니다. 에이전트가 제작한 100개 게임의 인간 라벨링 행동에 대해, 실행 가능한 점검은 비디오 기반 VLM 판별기의 78.41%에 비해 92.59%의 균형 정확도(balanced accuracy)를 달성했습니다. 루브릭 기반 시각 점수는 200개 게임플레이 클립에 대한 인간 평가와 0.829의 스피어만 상관계수에 도달했습니다. 종합적으로 이러한 결과는 게임 개발 활동 전반에 걸친 현재 에이전트 능력을 규명하며, 런타임 증거와 시각적 평가의 결합을 뒷받침합니다.

arXiv:2607.27409v2cs.SE

SWE-NFI: 비기능적 개선을 위한 코딩 에이전트 연구 및 벤치마킹

SWE-NFI: Studying and Benchmarking Coding Agents for Non-Functional Improvements

코딩 에이전트(coding agent)가 정확성 중심의 벤치마크에서 인상적인 성능을 달성했음에도 불구하고, 동작을 보존하는 비기능적 개선(NFI)을 수행하는 능력은 여전히 충분히 연구되지 않았습니다. 실제 소프트웨어 개발에서 개발자는 관찰 가능한 동작을 변경하지 않고 소프트웨어 품질을 지속적으로 개선하지만, 기존 벤치마크는 주로 기능적 정확성만을 평가하며 이러한 비기능적 개선을 평가하는 데는 제한적인 지원만을 제공합니다. 본 논문에서는 기능적 정확성을 넘어 NFI에 대해 코딩 에이전트를 평가하기 위한 벤치마크인 SWE-NFI를 제시합니다. SWE-NFI는 오픈소스 Python 프로젝트의 실제 병합된 풀 리퀘스트(PR)로부터 구축된 188개의 태스크를 포함합니다. 저자들은 개발자 중심의 5가지 NFI 측면을 92개의 실행 가능한 규칙으로 구체화하고, 원본 코드의 주요 속성이 보존되는지 평가하기 위해 태스크별 기능 보존 검사를 먼저 적용한 후 규칙 기반 NFI 평가를 수행하는 평가 스위트를 개발했습니다. 이러한 검사를 통과한 출력에 대해, 원본 코드 대비 해당 태스크의 목표 측면에 대한 정규화된 규칙 점수의 변화로 NFI 개선도를 측정합니다. 8개의 상용 및 오픈소스 에이전트 구성을 평가하고 각 태스크마다 각 구성을 5회씩 실행했습니다. 유효한 에이전트 출력 중 최대 70.0%만이 모든 태스크별 기능 보존 검사를 만족했습니다. 이러한 검사를 통과한 출력 중에서도 NFI 성능은 측면에 따라 상당한 차이를 보였습니다. 특히 평가된 모든 구성은 로직 패턴(Logic Patterns)에서 0.0에서 1.3 사이의 평균 개선도를 달성하여 인간 기준(Human Reference) 평균인 1.5에 미치지 못했습니다. 본 연구의 벤치마크와 발견점은 비기능적 개선 측면에서 코딩 에이전트를 평가하고 추가적인 발전이 필요한 NFI 측면을 식별할 수 있는 재현 가능한 기반을 제공합니다.

arXiv:2610.01769v1cs.SE

CONTRA: LLM 코드 생성에서 선택적 명확화를 위한 동작 변경 질문의 탐색 및 검증

CONTRA: Discovering and Qualifying Behavior-Changing Questions for Selective Clarification in LLM Code Generation

코딩 에이전트(coding agent)는 올바르게 보이지만 사용자가 전혀 의도하지 않은 동작을 구현하는 코드를 생성할 수 있다. 이러한 불일치는 에이전트가 불충분하게 명시된 요구사항을 자체적인 가정을 통해 은밀하게 해결할 때 발생할 수 있다. 후속 개발이 이러한 가정을 기반으로 진행됨에 따라, 결과적인 동작을 수정하는 데 드는 비용은 점점 더 커질 수 있다. 조기 명확화(clarification)는 이러한 불일치를 예방하는 데 도움이 될 수 있지만, 불필요한 질문은 개발자를 방해하고 개발 속도를 늦출 수 있다. 기존 방법들은 불필요한 질문을 피하면서 핵심적인 명확화 질문을 식별하는 데 어려움을 겪는다. 따라서 본 논문에서는 광범위한 질문 탐색과 의미론적 및 실행 기반 질문 검증을 결합한 학습(training) 불필요 방식의 CONTRA를 제안한다. CONTRA는 먼저 후보 질문들을 생성하고, 요구된 동작과 무관하거나 요구사항에 의해 이미 해결된 질문들을 필터링한다. 남아 있는 각 질문에 대해, 타당한 두 가지 답변을 조건으로 프로그램을 생성하고 공유 입력에 대해 안정적인 동작 차이가 나타나는지 확인한다. 그런 다음 상호작용 기록을 활용하여 검증된 질문 중 선택하거나 질문을 중단한다. ClarifyCodeBench에 대한 실험 결과, CONTRA는 4개의 모든 코딩 에이전트에서 가장 높은 F1 점수를 달성했으며, 가장 우수한 기준선(baseline)의 매크로 평균 F1을 13.88%포인트 상회했다. 동일한 대규모 언어 모델(LLM) 및 평가 프로토콜에서 CONTRA는 코딩 하네스인 Claude Code 및 OpenHands보다 더 높은 명확화 재현율(recall)과 F1을 달성했다. 실제 사용을 지원하기 위해, 우리는 선택적 명확화를 일상적인 개발에 통합하는 Claude Code 플러그인으로 CONTRA를 구현하기도 했다.

arXiv:2610.01618v1cs.AI

에이전트는 모델이 아닌 시스템이다: 에이전트 평가에 대한 재고

Agents Are Systems, Not Models: Rethinking Agentic Evaluation

에이전트(agent) 평가는 단순한 성공률을 넘어 비용, 일관성, 견고성과 같은 지표를 보고하는 방향으로 점차 나아가고 있습니다. 그러나 이러한 평가는 대개 에이전트 자체를 고정된 것으로 취급합니다. 실제로 에이전트는 구성 가능한 시스템입니다. 사용자는 에이전트에게 무엇을 전달할지, 얼마나 오래 실행할지, 어떤 모델을 사용할지를 결정하며, 이러한 각 선택은 성능의 수준과 일관성을 변화시킬 수 있습니다. 본 연구에서는 코딩 에이전트가 공개된 전문 모델을 찾아 올바르게 작동해야 하는 네 가지 과학적 작업으로 구성된 새로운 벤치마크를 통해 이러한 선택들을 조사합니다. 구체적으로 작업 정보, 추론, 자체 검증, 시간 예산, 백본 모델이라는 에이전트 구성의 다섯 가지 요소를 탐구합니다. 연구 결과 실행 간 상당한 변동성이 발견되었으며, 결과 분산의 약 54%는 구성을 변경해서가 아니라 동일한 구성을 반복 실행하는 데서 발생했습니다. 여러 구성 전반에 걸쳐 에이전트에 제공된 정보가 시간 예산과 모델 크기를 모두 능가하며 가장 큰 영향을 미쳤고, 동시에 비용을 줄이고 캘리브레이션(calibration)을 개선했습니다. 또한 구성 선택들은 서로 상호작용합니다. 추가적인 시간은 에이전트에게 충분한 정보가 있거나 이를 활용할 만큼 유능한 모델이 있을 때만 도움이 됩니다. 마지막으로, 에이전트 행동에 대한 궤적 기반 분류체계에 따르면 에이전트에게 답변을 검증하도록 프롬프트를 제공하는 것은 검증 행동에 거의 영향을 미치지 않는 반면, 전용 검증 도구를 제공하는 것은 해당 행동을 크게 변화시키는 것으로 나타났습니다. 이러한 결과는 에이전트 자체를 구성 가능한 시스템으로 평가해야 하며, 원하는 특정 행동은 프롬프트를 통해 요구하기보다 시스템 내에서 구현하는 것이 더 효과적임을 시사합니다. 본 연구는 벤치마크와 18,000개 이상의 에이전트 궤적을 공개합니다.

arXiv:2610.00648v1cs.AI

Incident-Arena: 신뢰성의 마지막 9에 도달하기 위한 에이전트 평가

Incident-Arena: Getting agents to the last nine of reliability

AI 코딩 에이전트는 산업계와 학계 전반의 엔지니어링 워크플로우에 널리 활용되고 있습니다. 그러나 애플리케이션 코딩에서의 활용에도 불구하고, 프로덕션 인시던트 대응(production incident response)을 수행하는 능력에는 상대적으로 적은 어텐션이 기울여졌습니다. 에이전틱 사이트 신뢰성 공학(agentic site-reliability-engineering, SRE)이라 불리는 이 신흥 분야의 기존 벤치마크들은 (1) 주로 토이 저장소로 구성된 비현실적인 환경, (2) 비표준 프레임워크 구현, (3) 단순한 정적 검증기라는 한계를 지닙니다. 우리는 실제 배포된 오픈소스 소프트웨어에 그라운딩된, 정교하게 선별된 20개 작업으로 구성된 수작업 구축 벤치마크인 Incident-Arena를 소개합니다. 각 작업은 임시 Kubernetes 클러스터에 프로덕션 애플리케이션을 배포하고, 설정 층부터 기저 이미지에 이르는 결함과 작업 요구사항에 따른 지속적인 부하 프로파일을 주입합니다. 또한 우리는 정적 검사를 넘어 기능적 검증기로 나아가, 수리가 안전하게 수행되는지 확인하는 동시에 시스템 수준의 지표를 안정적으로 유지하는 새로운 검증 방식을 제시합니다. 에이전트 실험은 평균 2.81M 토큰과 41턴을 실행하여 기존 벤치마크를 넘어서는 에이전트의 긴 호흡 추론(long horizon reasoning)을 보여줍니다. 20개 작업과 3개 애플리케이션 기반 전반에서 프론티어 모델들은 64.3% 미만의 점수를 기록했으며, 실패 원인은 진단/위치 특정 오류부터 불완전한 복구 및 안전하지 않은 회귀(regression)에 이르기까지 다양했습니다.

arXiv:2610.00425v1cs.SE

작동하는 코드, 작동하지 않는 환경: AI 생성 소프트웨어의 환경 재현성 측정

Code That Works, Environments That Don't: Measuring Environment Reproducibility in AI-Generated Software

코드 생성은 대규모 언어 모델(LLM)의 핵심 역량으로 부상하였으며, 이제 코딩 에이전트(agent)는 자연어 프롬프트로부터 기능적으로 올바른 소프트웨어 프로젝트를 생성할 수 있습니다. 그러나 기능적 정확성(functional correctness)만으로는 생성 품질의 중요한 차원을 포착하지 못합니다. 생성된 코드를 실행하는 데 필요한 의존성을 정확히 식별하는 것으로 정의되는 환경(environment) 명세 또한 이에 못지않게 중요합니다. 본 연구에서는 환경 명세를 위한 에이전트 프로토콜을 개발하고, 선언된 의존성, 런타임에 설치된 의존성, 그리고 필요충분한 의존성으로 구성된 3개 층(layer) 프레임워크를 도입하여 환경 명세 관점에서 코딩 에이전트를 체계적으로 평가합니다. 이 프로토콜을 사용하여 코딩 에이전트가 소프트웨어 환경 의존성을 체계적으로 잘못 명세하는 정도와 이러한 오명세가 3개의 에이전트, 4개의 언어, 50개의 프로그래밍 작업에 걸쳐 어떻게 달라지는지 평가합니다. 실험 결과, 현재의 코딩 에이전트는 이 차원에서 체계적인 일반화 실패를 보이며, 기능 테스트로는 감지할 수 없는 불일치하거나 중복되거나 불완전한 의존성 명세를 생성하는 것으로 나타났습니다. 여러 에이전트에 걸쳐 동일한 작업에 대한 의존성 집합 일치도는 7%로 낮았으며, 최신 에이전트에서도 유의미한 개선이 나타나지 않아 이러한 실패가 스케일링이나 최신성으로 해결되지 않음을 시사합니다. 가장 큰 차이는 선언된 의존성 층과 런타임 의존성 층 사이에서 발생하며, 모델의 학습(training) 분포에서 학습된 환경 사전 확률(priors)이 주된 원인임을 보여줍니다. 본 연구 결과는 환경 명세가 현재의 벤치마크에서는 포착하지 못하는 코드 생성 품질의 독자적이고 측정 가능한 축임을 규명하며, 기능적 정확성과 환경적 이식성을 함께 최적화하는 학습 목표 및 평가 프로토콜의 필요성을 제시합니다.

arXiv:2609.38269v2cs.SE

Zero2Repo: 코딩 에이전트는 처음부터 저장소를 구축할 수 있는가?

Zero2Repo: Can Coding Agents Build Repositories from Scratch?

코딩 에이전트(agent)는 기존 소프트웨어를 패치하는 것을 넘어 직접 구축하도록 요구받는 경우가 점점 늘고 있으나, 처음부터(from-scratch) 저장소를 구축하는 능력을 측정하는 벤치마크는 대부분 단일 언어로 제한되어 있으며 수작업으로 큐레이션된 작업에 의존합니다. 본 논문에서는 에이전트가 제품 요구사항 정의서(PRD), 인터페이스 명세서, 빈 작업 공간을 전달받아 프로젝트의 네이티브 생태계에 맞는 완전한 저장소를 제공해야 하는 벤치마크인 Zero2Repo를 소개합니다. 작업들은 실제 버전이 고정된 오픈소스 프로젝트를 동작 사양, 재현 가능한 환경, 그리고 숨겨진 인수 테스트로 변환하는 언어 무관 저작 파이프라인을 통해 생성됩니다. 각 작업은 실행을 통해 검증(validation)됩니다. 즉, 업스트림 프로젝트에서 파생된 참조 구현이 테스트를 통과해야 하며, 적대적 검증을 통해 테스트가 잘못된 구현을 거부함을 입증해야 합니다. 평가는 격리된 컨테이너에서 프로덕션 코딩 에이전트를 실행하고, 명시적인 제출 전까지 인수 테스트를 비공개로 유지하며, LLM 판정 없이 모든 테스트를 통과했을 때만 이진 보상(reward)을 부여합니다. 이 파이프라인과 하네스는 특정 언어에 국한된 가정을 두지 않아 주류 프로그래밍 생태계 전반에 적용 가능하며, 현재 릴리스에는 Python, TypeScript, Go, C++ 작업이 포함되어 있습니다. 프론티어 모델들이 학습(training) 중에 보았을 가능성이 매우 높은 저장소에서 추출한 11개 작업에서도 가장 뛰어난 에이전트조차 10개만 해결했으며, 실패한 모든 제출물은 숨겨진 테스트의 90~99%를 통과했습니다. 또한 상위 2개 에이전트의 경우 실패한 테스트의 67~100%가 하위 시스템 누락이 아닌 사양에 명시된 단일 누락이나 발생 빈도가 낮은 규칙에서 비롯되었으므로, 각 실패는 구체적인 개선 목표가 됩니다.

arXiv:2604.20779v2cs.AI

SWE-chat: 실제 환경에서 실제 사용자의 코딩 에이전트 상호작용

SWE-chat: Coding Agent Interactions From Real Users in the Wild

AI 코딩 에이전트(agent)가 대규모로 도입되고 있으나, 사람들이 실제로 이를 어떻게 활용하고 실무에서 그 결과물이 얼마나 유용한지에 대한 실증적 증거는 부족합니다. 본 논문에서는 오픈소스 개발자들로부터 실제 환경(in the wild)에서 수집한 최초의 대규모 실제 코딩 에이전트 세션 데이터셋(dataset)인 SWE-chat을 제시합니다. 이 데이터셋은 현재 약 18,000개의 세션을 포함하고 있으며, 이는 229,000개 이상의 사용자 프롬프트(prompt)와 200만 건의 에이전트 도구 호출로 구성됩니다. SWE-chat은 지속적으로 갱신되는(living) 데이터셋으로, 자체 수집 파이프라인이 공개 저장소로부터 세션을 자동적이고 지속적으로 탐색 및 처리합니다. SWE-chat을 활용하여 저자들은 실제 코딩 에이전트의 사용 방식과 실패 모드에 대한 초기 실증적 특성을 분석합니다. 연구 결과 코딩 패턴은 양봉형(bimodal)을 보였습니다. 41%의 세션에서는 에이전트가 커밋된 코드의 거의 전부를 작성한 반면("바이브 코딩(vibe coding)"), 25%에서는 사람이 모든 코드를 직접 작성했습니다. 역량이 급속도로 향상되고 있음에도 불구하고, 코딩 에이전트는 자연스러운 환경에서 여전히 비효율적입니다. 에이전트가 생성한 모든 코드 중 59%만이 사용자의 커밋에 최종 반영되며, 에이전트가 작성한 코드는 사람이 작성한 코드보다 더 많은 보안 취약점을 유발합니다. 나아가 사용자들은 전체 턴의 50%에서 수정, 실패 보고, 중단 등을 통해 에이전트의 출력에 반대하거나 개입(push back)합니다. 인간과 에이전트의 코드 작성자 속성을 포함한 완전한 상호작용 기록(trace)을 포착함으로써, SWE-chat은 정제된 벤치마크를 넘어 실제 개발자 작업 흐름에서 AI 에이전트가 어떻게 작동하는지 증거 기반으로 이해하기 위한 실증적 토대를 제공합니다.