arXiv:2610.15708v1 cs.AI

SpecForge: 동작 명세를 통한 코딩 에이전트의 재귀적 자기 개선

SpecForge: Recursive Self-Improvement for Coding Agents via Behavioral Specifications

Yutong Cheng, Haifeng Chen, Peng Gao, Wei Cheng

제출 2026-10-11

저자 비고

arXiv Comments

Accepted to NeurIPS 2026 (Main Track)

한국어 초록

동결된 언어 모델 기반의 코딩 에이전트(agent)는 모델(model) 가중치를 업데이트하지 않고도 자신이 의존하는 외부 컨텍스트를 개선함으로써 성능을 향상할 수 있습니다. 본 연구에서는 프로그램 엔티티의 동작을 기술하고 에이전트가 올바른 코드를 생성하도록 안내하는 자연어 코드 문서인 동작 명세(behavioral specification)를 통한 재귀적 자기 개선을 탐구합니다. 우리는 에이전트가 현재 명세로부터 코드를 생성하고, 실행 검증된 테스트로 이를 평가(evaluation)하며, 관찰된 실패를 바탕으로 명세를 개선하는 자기 개선 루프를 정식화합니다. 이렇게 개선된 명세는 이후의 코드 생성을 유도하여 에이전트의 코드베이스 이해도를 점진적으로 향상시킵니다. 그러나 프로그램 엔티티들은 상호 의존적이기 때문에 재귀적 개선은 까다롭습니다. 한 엔티티의 명세를 개선하는 과정에서 다른 엔티티의 정확도가 의도치 않게 저하될 수 있으며, 우리는 이를 출력 결합(output coupling) 현상이라고 부릅니다. 이는 국소적인 개선이 다른 곳에서 회귀를 유발하여 일관된 발전을 저해하는 두더지 잡기 효과를 야기합니다. 우리는 세 가지 메커니즘을 통해 이 문제를 해결하는 다중 프론티어 트리 탐색 프레임워크인 SpecForge를 소개합니다: (i) 파레토(Pareto) 기반 상태 선택은 상호보완적인 명세 상태를 보존하고 조기 확정을 방지하며, (ii) 의존성 제약 엔티티 선택은 피호출자 우선 정제를 우선시하고, (iii) 오류 다양화 확장은 서로 다른 테스트 실패 부분집합을 활용해 다양한 개선 방안을 탐색합니다. DevEval+에서 SpecForge는 5개 백본 모델에 걸쳐 최고 성능을 달성했으며, 여기에는 Claude-4.5-Sonnet을 통한 94.9% 해결률과 가장 강력한 기준선(baseline) 대비 평균 5.7%포인트 향상이 포함됩니다. 또한 개선된 명세는 에이전트가 루프 외부의 작업을 수행하는 능력도 향상시킵니다. 즉, 교차 언어 번역 및 새로운 기능(feature) 구현으로 전이되어 벤치마크(benchmark)에서 제공된 요구사항 문서를 능가하는 성능을 보였습니다.

원문 초록

Coding agents based on frozen language models can improve their performance by refining the external context they rely on, without updating model weights. We study recursive self-improvement through behavioral specifications: natural-language code documentation that describes the behavior of program entities and guides agents in generating correct code. We formulate a self-improvement loop in which an agent generates code from its current specifications, evaluates it with execution-verified tests, and refines the specifications based on observed failures. The improved specifications then guide subsequent generation, progressively improving the agent's understanding of the codebase. However, recursive refinement is challenging because program entities are interdependent. Improving the specification of one entity can inadvertently degrade the correctness of others, a phenomenon we call output coupling. This creates a whack-a-mole effect in which local improvements cause regressions elsewhere, preventing consistent progress. We introduce SpecForge, a multi-frontier tree search framework that addresses this challenge with three mechanisms: (i) Pareto-guided state selection preserves complementary specification states and prevents premature commitment; (ii) dependency-constrained entity selection prioritizes callee-before-caller refinement; and (iii) error-diversified expansion explores multiple refinements using different subsets of test failures. On DevEval+, SpecForge achieves the best performance across five backbone models, including a 94.9% solve rate with Claude-4.5-Sonnet and a 5.7-percentage-point average improvement over the strongest baseline. The improved specifications also make the agent better at tasks outside the loop: they transfer to cross-language translation and to new-feature implementation, where they outperform the benchmark-provided requirement documents.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15708v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13356v1cs.AI공통 태그 Code Generation, coding agents

SWE-Critix: 코딩 에이전트 궤적 평가를 위한 범용 검증기 사후 학습

SWE-Critix: Post-Training Generalist Verifiers for Assessing Coding-Agent Trajectories

코딩 에이전트는 엔드투엔드 소프트웨어 엔지니어링 작업에 점점 더 많이 배포되고 있지만, 성공 기준을 정의하는 즉시 사용 가능한 오라클 평가자가 없는 경우가 많다. 이는 코딩 에이전트의 행동을 신뢰성 있게 판단하고 설명할 수 있는 검증 방법에 대한 필요성을 불러일으킨다. 그러나 코딩 에이전트가 장기간에 걸친(long-horizon) 소프트웨어 엔지니어링 작업을 해결하는 능력이 점점 향상되면서 검증은 결코 간단하지 않다. 이들의 실행 궤적(trajectory)은 매우 길어질 수 있으며, 코드 저장소 및 외부 도구와의 수백 차례에 이르는 반복적 상호작용을 포함한다. 기존 검증기들은 전문적인 학습 없이 범용 LLM에 의존하거나, 주로 스칼라 보상(scalar reward) 생성에 초점을 맞춘 전용 비평가(critic)를 학습시키는 데 그치고 있어, 학습 기반 범용 검증(generalist verification)에 대한 탐험이 상대적으로 제한적이었음을 보여준다. 우리는 코딩 에이전트 궤적에 대한 범용 검증기를 학습시키기 위한 사후 학습 파이프라인인 SWE-Critix를 소개한다. 작업과 그 실행 궤적이 주어지면, 학습된 검증기는 완료 레이블(completion label)을 예측하고 그 판단을 설명하는 자연어 분석을 생성한다. 본 파이프라인은 지도 미세조정(SFT)과 강화학습(RL)을 결합하며, CodeForge-Preview의 궤적 데이터를 사용하여 일련의 30B 모델들을 학습시킨다. 홀드아웃 테스트 세트에서 SWE-Critix는 분류 정확도를 기본 Qwen3-30B-A3B 추론 모델의 57%에서 SFT 이후 66%, RL 이후 78%까지 향상시킨다. 우리는 추가 연구를 촉진하기 위해 모델, 데이터셋, 학습 코드를 공개한다.

arXiv:2610.13361v1cs.SE공통 태그 Code Generation, coding agents

AgentSWE: 코딩 에이전트는 사용자가 실제로 원하는 에이전트를 구축할 수 있는가?

AgentSWE: Can Coding Agents Build the Agent You Actually Want?

소프트웨어 제작이 소프트웨어 자체의 손에 맡겨짐에 따라, 코딩 에이전트(coding agent)가 사용자의 자체 워크플로에 맞춤화된 에이전트를 구축하도록 위임받는 사례가 점차 늘어나고 있습니다. 이러한 위임에는 제공된 에이전트가 단지 그렇게 보이는 것에 그치지 않고, 구축 목적이었던 요구사항을 충실히 수행할 것이라는 암묵적인 가정이 깔려 있습니다. 그러나 기존의 어떤 벤치마크도 이 가정을 검증하지 않습니다. 본 논문에서는 자연어 요구사항으로부터 완전한 에이전트를 제작하는 생성(Creation), 프로덕션 에이전트 코드베이스의 수정(Editing), 측정 가능한 목표를 향한 최적화(Optimization)라는 에이전트 개발 수명 주기의 3단계를 아우르는 에이전트 소프트웨어 엔지니어링 벤치마크인 AgentSWE를 소개합니다. 25개의 각 태스크는 시험이라기보다는 의뢰의 형태로 구성됩니다. 즉, 빌더는 소수의 예시 케이스를 바탕으로 반복 개선하고, 인수 평가 단계에서는 엄격한 통과/실패 기준을 적용한 요구사항 기반 루브릭에 따라(최적화의 경우 원본 벤치마크 자체의 목표에 따라) 고정된 제출물을 전체 요구사항을 포괄하도록 설계된 홀드아웃(held-out) 케이스에서 실행하여 동작을 채점합니다. 다양한 모델과 하네스에 걸쳐 여러 코딩 에이전트를 평가한 결과, 요구사항이 요구하는 바를 제대로 제공하는 에이전트는 전무했습니다. 빌더가 시연하는 모습과 실제로 제공하는 결과물 사이의 격차는 예외적인 경우가 아니라 일반적인 현상이었습니다. 실패 궤적에 대한 실증적 분석을 통해 확인된 반복적인 실패 모드로는 가시적인 케이스에 대한 과적합, 완성된 것처럼 보이는 코드 이면의 빈껍데기 런타임, 근거 없는 완료 주장 등이 있었으며, 이는 코딩 에이전트가 요청받은 에이전트를 구축하는 방법을 학습할 수 있는 각각의 신호가 됩니다.

arXiv:2610.13395v1cs.SE공통 태그 Code Generation, coding agents

ProgramGym: 장기 프로그램 재현 에이전트를 위한 학습 환경 확장

ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents

코딩 에이전트(coding agent)는 저장소 내의 이슈를 해결하거나 주어진 요구사항 명세서로부터 저장소를 생성하는 것을 넘어, 소프트웨어 엔지니어처럼 처음부터(from scratch) 프로그램을 구축하는 데 점점 더 많이 활용되고 있습니다. 그러나 에이전트가 필요한 요구사항을 직접 파악하고 시스템 설계 방식을 결정하도록 강제하는, 확장 가능하고 검증 가능한 학습(training) 환경은 여전히 부족합니다. 또한 기존 에이전트 워크플로는 구현 전에 참조 프로그램을 탐색하는 장기(long-horizon) 개발 과정을 지속하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 장기 프로그램 재현 에이전트를 위한 확장 가능한 학습 환경 프레임워크이자 Program-Env 및 Program-Agent로 구성된 ProgramGym을 소개합니다. 구체적으로 Program-Env는 런타임 샌드박스 빌드와 블랙박스 테스트 품질을 복구하는 피드백 기반 루프를 통해 저장소로부터 검증 가능한 학습 환경을 구축합니다. 이 새로운 파이프라인을 활용하여 C, C++, Go, Rust에 걸친 1,648개의 학습 환경을 확보했습니다. Program-Agent는 컴파일 검사 및 실패 복구를 위한 리비전 관리와 함께 분석, 구현, 검토의 역할 분리 워크플로를 결합합니다. ProgramBench 실험 결과는 Program-Env와 Program-Agent 모두 프로그램 재현 성능을 향상시킴을 보여줍니다. 이렇게 구축된 환경에서 얻은 궤적으로 미세조정(fine-tuning)을 수행하면 Qwen3.8-27B의 성능이 34.87%에서 42.84%로 향상됩니다. Program-Agent는 베이스 및 SFT 모델의 성능을 각각 55.71%와 56.25%까지 추가로 향상시키며, 두 모델 모두 일부 플래그십 모델을 능가합니다. 처음부터 프로그램을 구축하는 코딩 에이전트에 대한 후속 연구를 지원하기 위해 ProgramGym을 공개할 예정입니다.

arXiv:2610.13912v1cs.CL공통 태그 Code Generation, recursive self-improvement

RSI-Anything: 월드 모델(World Model)을 통한 재귀적 자기개선의 실현

RSI-Anything: Unlocking Recursive Self-Improvement with World Models

재귀적 자기개선(Recursive Self-Improvement, RSI)은 상호작용 경험을 지속적인 개선으로 전환하는 것을 목표로 하지만, 외부 피드백은 비용이 많이 들고 정책(policy)이 진화함에 따라 월드 모델(world model)의 예측이 신뢰할 수 없게 될 수 있다. 우리는 JEPA-Anything을 기반으로 구축된 도메인 범용(domain-general) 프레임워크인 RSI-Anything을 소개하며, 이는 예측적 월드 모델을 사용하여 행동 및 학습 데이터 선택을 안내한다. 관찰된 피드백은 정책 또는 워크플로우 개선과 조건부 월드 모델 적응(adaptation)을 이끌며, 구성요소 및 호환성 검사가 업데이트된 정책-모델 쌍의 유지 여부를 결정한다. 다양한 계산 및 과학 도메인에서 RSI-Anything은 상당한 성능 향상을 보여준다. 코드 수정(code repair) 과제에서, 코더(coder)를 고정한 상태로 성공률은 정적 검증기(static verifier)를 사용할 때 26.3%였으나, 예측적 선택(predictive selection)을 통해 29.2%로, 월드 모델 적응 이후에는 31.2%로 증가했으며, 이는 비슷한 테스트 사용량에서 달성되었다. 그래픽 사용자 인터페이스(Graphical User Interface, GUI) 평가에서는 과제 완료율이 더 높아졌으며, 평균 행동 수는 39.4% 감소했다. 연속된 5개의 정책 버전에 걸쳐, 실험실 계획(laboratory-planning) 점수는 21.80%에서 46.01%로 두 배 이상 증가했다. 반응 최적화(reaction optimization)에서, RSI-Anything은 동일한 40회 실험 예산 하에서 평균 최고 관측 수율(mean best observed yield) 96.15%를 달성했으며, 이는 베이지안 최적화(Bayesian optimization)의 82.16%와 대비된다. 더 나아가, 엔드투엔드(end-to-end) 면역학(immune-science) 응용에서는 워크플로우 진화와 예측 모델링을 치료적 가설 생성(therapeutic hypothesis generation)과 연결한다. 이러한 결과는 예측적 월드 모델과 유지된 시스템 업데이트가 다양한 환경에서 재귀적 개선을 가능하게 하는 방식을 보여준다.

arXiv:2609.33987v2cs.CL공통 태그 Code Generation, coding agents

Opera: 장기 코딩 에이전트를 위한 언어적 비평가 프레임워크

Opera: A Verbal Critic Framework for Long-horizon Coding Agents

장기(long-horizon) 코딩 에이전트는 시의적절한 교정이 필요하지만, 피드백이 진행 중인 작업을 잘못 판단하거나 근본적인 문제를 해결하지 못할 경우 비효과적이거나 심지어 해로울 수 있습니다. 기존의 비평가(critic)들은 궤적(trajectory)을 평가하고 피드백을 생성하는 데 초점을 맞추지만, 피드백이 전달된 이후 어떤 일이 일어나는지는 거의 추적하지 않습니다. 본 논문에서는 각 교정을 지속적인 메모로 취급하여 진단된 문제가 해결될 때까지 추적하는 언어적 비평가 프레임워크인 Opera를 제시합니다. Opera는 주기적 및 이벤트 기반 트리거를 통해 검토 시점을 결정하고, 타입화된 연산자(typed operator)로 문제를 진단하며, 전달 전에 가시적인 근거를 바탕으로 피드백을 검증하고, 에이전트의 후속 행동을 추적하여 단순한 순응과 실제 해결을 구분합니다. 테스트 시점 비평가(test-time critic)로서 Opera는 4개의 정책 모델 전반에 걸쳐 Terminal-Bench 2.1, SWE-Bench Pro 하위 집합, DeepSWE v1.1에서 비-비평가 에이전트의 해결률을 각각 최대 12.4%p, 15.0%p, 8.9%p 향상시키며, 세 벤치마크 모두에서 경쟁력 있는 비평가 베이스라인 중 가장 높은 평균 해결률을 달성하고, 정책이 스스로를 비평할 때도 정책 모델을 개선합니다. 추론을 넘어, Opera 기반 롤아웃은 대략적인 온-정책(on-policy) 학습 데이터를 제공합니다. 이를 통해 Qwen3.5-9B를 미세조정(fine-tuning)하면 추론 시 비평가 없이도 미평가(held-out) SWE-Bench Pro 리포지토리에서 해결률이 10.2%p 향상되어 더 강력한 모델의 롤아웃으로 미세조정한 것과 동등한 성과를 내는 동시에, 하네스(harness)를 전환할 때(즉, Openhands에서 Terminus-2로 전환 시 후자의 경우 성능이 크게 저하됨)에도 성능을 유지합니다. 저희 코드는 https://github.com/dongyuanjushi/Opera 에서 확인할 수 있습니다.

arXiv:2610.04838v2cs.AI공통 태그 Code Generation, coding agents

MemTrace: 장기 코딩 에이전트를 위한 상태 일관적 메모리

MemTrace: State-Consistent Memory for Long-Horizon Coding Agents

코딩 에이전트(agent)가 여러 파일과 단계에 걸친 장기 소프트웨어 발전 작업을 수행함에 따라, 길어진 실행 궤적은 두 가지 연계된 문제를 야기합니다. (1) 누적된 이력으로 인해 컨텍스트 예산에 부담이 가중되고, (2) 저장소의 변경 사항으로 인해 이전 실행 근거의 유효성이 상실될 수 있습니다. 기존 접근 방식은 더 큰 컨텍스트 윈도우(context window), 압축, 검색 또는 저장소 표현과 같은 기법을 통해 이러한 문제를 해결하지만, 컨텍스트 갱신 후 일관된 작업 상태를 재구성하지 못하거나 회상된 근거가 여전히 유효한지 검증하지 못하는 경우가 많습니다. 이에 따라 본 논문에서는 실행 이력을 보존하고 변화하는 작업(예: 반복적인 파일 간 수정) 및 저장소 상태와 이력의 재사용을 정렬하는 출처 인식 메모리 시스템인 MemTrace를 제안합니다. MemTrace는 이력을 주요 정보(예: 파일, 심볼, 테스트)에 고정된 불변의 Memory Trace로 저장하며, 이들의 실행 순서와 의존성을 Memory Trace Graph로 구조화합니다. 컨텍스트가 제한될 때 작업 메모리는 컴팩트한 Memory Anchor만 유지하며, 에이전트는 이를 통해 최신 실행 상태를 재구성하고 다음 행동과 관련된 근거를 찾을 수 있습니다. 과거 근거를 복원하기 전에 MemTrace는 현재 저장소 상태에 대해 유효성을 검사하고 다음 행동에 필요한 정보만을 검색합니다. 세 가지 상호보완적인 장기 코딩 벤치마크(benchmark) 전반에서, MemTrace는 동일한 백본 및 하네스 조건 하에 완전히 평가된 모든 베이스라인을 일관되게 능가하여 Codex CLI 환경에서 DeepSWE pass@1을 21.2포인트, SWE-EVO 해결률(Resolved Rate)을 4.4포인트, SWE-Milestone 점수를 17.8포인트 향상시켰습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.