SWE-bench와 같은 저장소 수준 이슈 해결(issue resolution) 벤치마크는 제출된 패치를 주로 정확성 테스트 통과 여부로 평가하며, 테스트를 통과한 서로 다른 패치들 간의 런타임 성능(runtime performance)은 대부분 탐구되지 않은 채로 남아 있다. 패치 성능을 평가하는 것은 필수적이지만, 각 벤치마크 인스턴스마다 성능 워크로드를 설계하는 데 비용이 많이 들어 어렵다. 그러나 이러한 벤치마크는 이미 자연스러운 후보를 제공하는데, 바로 이슈 수정으로 영향을 받는 동작을 실행하는 내장 FAIL_TO_PASS(F2P) 테스트이다. 따라서 우리는 제공된 F2P 테스트를 패치 성능 평가에 재활용할 수 있는지 조사한다. 전체적으로 우리는 Claude Opus 5, GPT 5.6, DeepSeek V4 Pro, Qwen 3.8 Max라는 네 가지 프런티어(frontier) 모델을 SWE-agent와 결합하여 SWE-bench 및 SWE-bench-Live의 검증된(verified) 분할에서 사전 필터링된 측정 가능한 코퍼스(corpus)를 해결하도록 하였으며, 그 결과 개발자의 정답(ground-truth) 패치를 포함해 최소 두 개 이상의 서로 다른 정답 해법을 가진 262개 사례를 얻었다. 이후 우리는 각 해법의 런타임 성능을 네이티브 F2P 테스트에서 명령어 수(instruction count)와 실제 경과 시간(wall-clock time)으로 측정하고, 더 강건한 통계적 판별 기준으로 선행 연구에서 제안된 RSD 대신 Welch ANOVA를 사용한다. 우리는 이 방법론이 런타임 성능에서 뚜렷한 판별 능력을 보이며, 거의 절반에 가까운 사례에서 패치 간 성능 차이를 식별해냄을 발견한다. 우리의 실증적 연구는 생성된 패치의 런타임 성능이 LLM의 이슈 해결률(resolution rate)과 무관하며, 모델 순위가 거의 뒤바뀐다는 것을 보여준다. 사례 연구(case study)는 또한 성능 분석이 정확성 평가에서는 간과된 일부 패치의 아키텍처적 회귀(architectural regression)를 드러낸다는 것을 보여준다. 이러한 발견은 해결률이 저장소 수준 이슈 해결에 대한 LLM의 능력을 충분히 특성화하지 못한다는 것을 시사하며, 향후 평가에서 해결률과 함께 패치 성능을 함께 고려하도록 동기를 부여한다.
코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.
장기(long-horizon) 코딩 에이전트는 시의적절한 교정이 필요하지만, 피드백이 진행 중인 작업을 잘못 판단하거나 근본적인 문제를 해결하지 못할 경우 비효과적이거나 심지어 해로울 수 있습니다. 기존의 비평가(critic)들은 궤적(trajectory)을 평가하고 피드백을 생성하는 데 초점을 맞추지만, 피드백이 전달된 이후 어떤 일이 일어나는지는 거의 추적하지 않습니다. 본 논문에서는 각 교정을 지속적인 메모로 취급하여 진단된 문제가 해결될 때까지 추적하는 언어적 비평가 프레임워크인 Opera를 제시합니다. Opera는 주기적 및 이벤트 기반 트리거를 통해 검토 시점을 결정하고, 타입화된 연산자(typed operator)로 문제를 진단하며, 전달 전에 가시적인 근거를 바탕으로 피드백을 검증하고, 에이전트의 후속 행동을 추적하여 단순한 순응과 실제 해결을 구분합니다. 테스트 시점 비평가(test-time critic)로서 Opera는 4개의 정책 모델 전반에 걸쳐 Terminal-Bench 2.1, SWE-Bench Pro 하위 집합, DeepSWE v1.1에서 비-비평가 에이전트의 해결률을 각각 최대 12.4%p, 15.0%p, 8.9%p 향상시키며, 세 벤치마크 모두에서 경쟁력 있는 비평가 베이스라인 중 가장 높은 평균 해결률을 달성하고, 정책이 스스로를 비평할 때도 정책 모델을 개선합니다. 추론을 넘어, Opera 기반 롤아웃은 대략적인 온-정책(on-policy) 학습 데이터를 제공합니다. 이를 통해 Qwen3.5-9B를 미세조정(fine-tuning)하면 추론 시 비평가 없이도 미평가(held-out) SWE-Bench Pro 리포지토리에서 해결률이 10.2%p 향상되어 더 강력한 모델의 롤아웃으로 미세조정한 것과 동등한 성과를 내는 동시에, 하네스(harness)를 전환할 때(즉, Openhands에서 Terminus-2로 전환 시 후자의 경우 성능이 크게 저하됨)에도 성능을 유지합니다. 저희 코드는 https://github.com/dongyuanjushi/Opera 에서 확인할 수 있습니다.
ReAct 기반 에이전트(agent)는 일반적으로 단일 대규모 언어 모델(LLM) 정책에 의존하여 행동을 제안하고, 환경(environment)과 상호작용하며, 작업 완료 시점을 결정합니다. 이러한 결합은 행동 권한 부여와 완료 제어를 독립적으로 적용하기 어렵게 만들어, 오류가 전파되고 근거 없는 완료 주장으로 인해 실행이 종료되도록 만듭니다. 본 논문에서는 두 가지 게이팅 정책을 외재화한 모듈형 에이전트 아키텍처인 DeReAct를 제안합니다: 실행 전 제안된 행동을 검증하는 비평가(Critic), 그리고 환경이 뒷받침하는 \textsc{State}를 재구성하고 작업 완료를 인증하는 컨텍스트 관리자(Context Manager)입니다. GAIA 및 SWE-bench Verified 전반에서 DeReAct는 상대적으로 취약한 Brain 모델에서 Pass@1을 가장 크게 향상시켜 Qwen3-Coder-480B의 경우 6.5--7.0 포인트, Claude Sonnet~4.5의 경우 4.2--5.2 포인트의 향상을 보였으며, Brain 역량이 증가함에 따라 향상 폭은 감소합니다. 궤적 및 어블레이션 분석 결과, 외부 게이팅은 목표로 하는 실패 사례가 충분히 빈번하고 게이팅 정책 자체가 충분할 때 효과적인 것으로 나타났습니다. Claude Opus~4.5의 경우 Pass@1은 ReAct와 비슷한 수준을 유지하지만, DeReAct는 증거가 더욱 완전하고 제약 조건을 더 잘 만족하는 궤적을 생성하며, 이는 완료 제어가 더 강력한 그라운딩(grounding)을 위해 조기 종료를 절충할 수 있음을 나타냅니다. 전반적으로 DeReAct는 취약한 에이전트를 개선하는 동시에 모델이 강화되더라도 그라운딩 이점을 유지합니다.
테스트 시점 연산(test-time compute)은 추론(inference) 시 대규모 언어 모델(LLM)의 능력을 향상시키는 효과적인 패러다임으로 부상했습니다. 기존 할당 전략은 주로 난이도, 불확실성, 또는 예상 성능 향상에 따라 작업의 우선순위를 정하며, 이는 예측 오류의 비용이 모두 동일하다고 암묵적으로 간주합니다. 이러한 가정은 하위 작업에 따라 실패의 여파가 크게 달라질 수 있는 실제 배포 환경과 일치하지 않는 경우가 많습니다. 이러한 한계를 해결하기 위해 본 논문은 추가 연산의 한계 이득과 함께 작업의 실패 결과(consequence)를 우선순위로 삼는 비용 가중 스케줄링 문제를 공식화하여 결과 인식(consequence-aware) 테스트 시점 연산 할당을 제안합니다. 그러나 실제로는 실행 전에 한계 이득을 예측하기 어렵기 때문에, 결과를 라우팅 신호로 사용하는 배포 가능한 스케줄러를 제안합니다. 이 스케줄러는 솔루션 도출 전 입력으로부터 작업 결과를 예측하고 상위 작업에 가용한 프리미엄 연산을 할당합니다. SWE-bench Lite에서의 실험은 결과가 작업 난이도를 넘어선 정보를 제공하며 문제 해결 전에 예측될 수 있음을 보여줍니다. 고정된 연산 예산 하에서 결과 인식 라우팅은 전반적인 정확도를 경쟁력 있게 유지하면서도 중대한 결과를 초래하는 작업에서 최고의 성공률을 달성합니다. 통제된 모델 내 실험은 추론 시도 횟수만 재할당할 때도 동일한 이점이 있음을 추가로 확인합니다.
저장소 수준 코딩 벤치마크는 코딩 에이전트 평가의 표준이 되었지만, 학습에 반복적으로 사용된 인기 오픈소스 저장소 위에 구축되기 때문에 본질적으로 데이터 유출 문제를 겪는다. 결과적으로, 높은 성능은 견고한 저장소 추론이라기보다 정형화된 저장소 단서의 암기를 반영할 수 있다. 우리는 동적으로 인스턴스화된 저장소 표현 하에서 코딩 에이전트를 시험하기 위한 평가 프레임워크인 SchrodingerRepo(슈뢰딩거의 저장소)를 제안한다. 테스트 저장소의 정적 표현을 반복적으로 사용하는 대신, SchrodingerRepo는 테스트 저장소를 에이전트가 평가 환경에 진입할 때에만 동적으로 인스턴스화되는 평가 시점 잠재 변수로 취급한다. 인스턴스화된 저장소는 네 가지 변환 수준—문제 진술 재구성, 네임스페이스 재매핑, 파일 내 레이아웃 재정렬, 기능 보존 코드 재작성—을 통해 명명 규칙, 파일 레이아웃, 구현 패턴과 같은 친숙한 단서를 훼손하면서 원래의 실행 가능한 동작을 보존한다. 우리는 SWE-bench Verified와 SWE-QA에서 인기 LLM을 평가한다. 결과는 친숙한 저장소 단서를 제거하면 모델 전반에 걸쳐 에이전트 성능이 일관되게 저하되고 상호작용 비용이 실질적으로 증가함을 보여준다. 추가 분석에 따르면, 추가 비용은 주로 저장소 탐험과 위치 특정(localization)의 난이도 증가에서 기인한다. 이러한 결과는 현재 코딩 에이전트가 저장소 측 암기된 단서에 부분적으로 의존할 수 있음을 시사하며, 동적으로 인스턴스화된 저장소 표현 하에서의 평가 필요성을 부각한다.
현대의 대규모 언어 모델(LLM) 에이전트는 단순히 더 긴 컨텍스트가 필요한 것이 아니라, 행동 시점에 의사결정과 관련된 근거가 필요하다. 우리는 의사결정 인식 컨텍스트 선택을 연구한다. 검색된 파일, 테스트, 트레이스, 규칙, 메모리를 의미적 유사도만이 아니라 에이전트의 다음 행동에 대한 기대 효과로 순위를 매긴다. 우리는 반사실 영감 컨텍스트 층(CICL)을 제안한다. CICL은 인스턴스 컨텍스트 그래프를 구축하고, 후보 단위에 대한 의사결정 지향적 유틸리티를 추정하며, 선택된 근거를 유형화된 메모리 카드로 압축한다. 동일한 스키마는 호스팅 LLM 판사, 로컬 대리 모델, 또는 경량 ranker로 인스턴스화할 수 있어, 모델 선택에 걸쳐 선택 프로토콜을 감사 가능하게 한다. SWE-bench Verified 파일 검색 인스턴스 50건에서 BM25 상위 50 후보에 대한 Qwen3.6-Plus 재순위화는 hit@1을 0.58에서 0.78로, MRR@10을 0.634에서 0.790으로 개선하며, 2,500개 판단 모두 파싱 가능하다. 통제된 진단은 CICL이 행동에 중요한 근거를 식별함을 보여준다. 최고 유틸리티 의미 단위를 제거하면 F1이 0.245에서 0.000으로 감소한다. 선택 후 압축 모드에서 메모리 카드는 선택된 근거를 유지하면서 쿼리당 44.93 토큰을 절약한다. CICL은 도구 사용 에이전트를 위한 의사결정에 중요한 컨텍스트를 측정, 순위화, 압축하는 실용적 층을 제공한다. 코드는 https://github.com/stephen-guan-researcher/CICL 에서 이용 가능하다.
ContextSniper는 저장소 수준 프로그램 수정 에이전트에서 불필요한 컨텍스트 소비를 줄이기 위해, 코드와 액션 메모리를 3단계 추상 계층으로 인덱싱하고 의도 인식 컨텍스트 게이트로 노이즈를 필터링해 압축된 증거 패킷만 LLM에 전달하는 모듈이다. SWE-bench Lite 평가에서 OpenClaw와 Claude Code를 호스트 에이전트로 사용했을 때 수정 해결률을 유지하면서 토큰 사용량을 각각 51.5%, 38.9% 절감했다.
기존 에이전트 개발은 프롬프트 템플릿, 도구 스키마, 콜백 코드, 워크플로 그래프에 걸쳐 분산되어 있다. 우리는 신뢰할 수 있는 AI 에이전트를 구축하기 위한 모델 불문 Python 프레임워크인 NVIDIA Object-Oriented Agents(NOOA)를 제안한다. NOOA는 더 단순한 접근을 취한다: 에이전트는 Python 객체이다. 메서드는 모델이 수행할 수 있는 행동이고, 필드는 상태이며, docstring은 프롬프트이고, 타입 어노테이션은 계약이다. 코드 본문이 "..."로 구성된 메서드는 LLM 구동 에이전트 루프에 의해 런타임에 완성되며, 일반 본문을 가진 메서드는 표준적인 결정론적 Python으로 유지된다. 이는 개발자와 에이전트에게 동일한 인터페이스를 제공하므로, 에이전트 동작을 다른 소프트웨어와 마찬가지로 테스트, 추적, 리팩터링, 개선할 수 있다.
본 논문은 세 가지 기여를 한다. (1) Python 객체로서의 에이전트 프로그래밍 모델과 그 설계 원칙을 제시한다. Python에 기존 추상화가 있는 곳에서는 이를 직접 채택한다. 에이전트 특화 기능—컨텍스트, 이벤트, 상태 렌더링, 장기 기억, 검증된 LLM 루프—는 단순한 Pythonic API를 통해 노출되므로, 개발자와 에이전트 모두 하나의 익숙한 프로그래밍 모델을 공유한다. (2) 우리가 아는 한 NOOA가 단일 표면에서 처음으로 결합한 여섯 가지 모델 대면 아이디어를 식별한다: 타입이 지정된 입출력, 활 객체에 대한 참조 전달(pass-by-reference), 코드를 행동으로(code as action), 프로그래밍 가능한 루프 엔지니어링, 명시적 객체 상태, 컨텍스트와 이벤트를 위한 모델 호출 가능 하네스 API. 커뮤니티가 이미 여러 아이디어—종종 실험적이거나 부분적인 기능으로—수렴하고 있음을 발견하고, 추가 채택을 장려하기 위해 비교를 제시한다. (3) SWE-bench Verified, Terminal-Bench 2.0, ARC-AGI-3와 같은 에이전틱 및 추론 벤치마크와 목표 지향 역량 테스트 모두에서 현재 모델이 이 인터페이스를 효과적으로 사용함을 보여준다.
대규모 언어 모델(LLM)은 실제 버그에 대한 자동 프로그램 수정(APR)을 점점 더 실용적으로 만들었지만, 버그 리포트만으로 직접 수정하는 것은 여전히 제약이 부족한 상태로 남아 있다. 버그 재현 테스트(BRT)는 버그 리포트를 실행 가능하고 버그에 특화된 신호로 변환하여 수정을 안내하고 후보 패치를 검증할 수 있게 함으로써 이 격차를 메우는 데 도움이 된다. 기존 연구는 따라서 APR의 핵심 하위 문제로서 BRT 생성을 연구해 왔으며, 생성된 BRT를 주로 fail-to-pass(F->P) 기준으로 평가하는데, 이는 테스트가 버그가 있는 코드에서는 실패하고 정답 수정(golden fix)에서는 통과해야 함을 요구한다. 우리는 BRT의 목표가 하류 수정을 개선하는 것일 때 F->P만으로는 불충분함을 보인다. 특히 일부 F->P BRT는 느슨한(lax) 것으로, 관찰된 증상은 재현하지만 그럴듯하지만 잘못된 패치를 여전히 허용한다. 우리는 F->P BRT를 엄격한(rigorous) 것과 느슨한 것으로 구분하여 이 누락된 품질 차원을 형식화하고, 경험적으로 엄격한 BRT만이 일관되게 수정 성공을 개선함을 보인다. 또한 공동 생성(co-generation)이 테스트-수정 오류 결합(test-fix error coupling)을 도입함을 발견하는데, 여기서 궤적 내(in-trajectory) fail-to-pass(F->P) 검사는 생성된 패치와 생성된 테스트가 모두 틀렸을 때에도 통과할 수 있다. 이러한 발견을 바탕으로, 우리는 Lax 신호를 루프 내 수렴 기준으로 사용하는 공동 생성 프레임워크인 CoHarden을 제안한다. CoHarden은 먼저 어떤 수정도 하기 전에 테스트를 생성한 다음, 생성된 테스트가 더 이상 Lax 회귀를 허용하지 않을 때까지 생존하는 돌연변이(mutation) 패치에 대해 테스트와 수정을 반복적으로 강화한다. 실험 결과 CoHarden은 SWE-bench Verified에서 69.4% Resolved와 78.9% F->P를 달성하여, 각각 Resolved에서 가장 강력한 fix-only 및 공동 생성(cogeneration) 기준선보다 +9.6 및 +7.9 퍼센트포인트 더 우수한 성능을 보였으며, 다양한 LLM 백본과 벤치마크에서 일관된 향상을 보였다.
현대적인 코딩 에이전트는 컨텍스트 윈도우에 전체 저장소를 담을 수 있다. 그 대부분의 읽기는 낭비되며, 흥미로운 질문은 에이전트가 얼마나 많은 컨텍스트를 활용할 수 있는가가 아니라 실제로 무엇이 필요한가이다. 우리는 가장 중요한 순간, 즉 에이전트가 코드를 편집해야 할 때 그 질문을 연구한다. 작업 위치를 찾는 것과 실제로 행동하는 것을 분리하여, 오라클로 로컬라이제이션을 고정하고 코드 표현 방식만 변화시키며, SWE-bench Verified에서의 실제 이슈 해결을 기준으로 컨텍스트를 평가한다. 그 답은 극히 최소적이다. 신호는 편집 중인 코드 자체에 있다: 자연어 요약은 소스 코드가 답하는 행동적 질문의 거의 어느 것도 답하지 못하며(4/45 대 27/45, 보류된 저장소, 독립 판정), 이 격차는 요약기가 아닌 표현 방식에서 비롯된다 -- 최첨단 모델의 요약도 30억 파라미터 모델의 요약과 정확히 동일하게 낮은 점수를 기록한다. 주변 컨텍스트도 거의 중요하지 않다: Verified의 모든 멀티 파일 인스턴스에서, 어떠한 데이터도 보기 전에 고정된 프로토콜 하에, 파일의 나머지 부분을 UML 스켈레톤과 시그니처로 렌더링하는 것은 해당 나머지를 완전히 삭제하는 것보다 더 많은 이슈를 해결하지 못했다($N{=}70$, 정확한 McNemar $p{=}0.75$). 이것이 우리의 사전 등록된 가설이었으며, 기각되었다. 한편 압축된 컨텍스트는 토큰의 3분의 1로 전체 파일에 필적하는 성능을 보인다: 해결된 이슈당 컨텍스트 토큰 비용은 94K가 아닌 19K이다. 또한 이 도구는 해당 분야가 주목해야 할 발견을 산출했다: temperature-0 API 추론은 바이트 단위로 동일한 실행 간에 인스턴스별 결과의 약 9%를 반전시킨다. 이는 우리의 것을 포함하여 이 벤치마크에서 보고된 모든 소규모 효과 아래의 노이즈 플로어에 해당한다. 우리는 이 도구를 공개한다 -- 골드 검증 환경, 모든 참조 편집이 각 조건의 컨텍스트로부터 표현 가능함에 대한 인스턴스별 증명, 결정론적 패치 구성, 그리고 귀무 가설을 함께 공개하는 사전 등록된 가설들.
LLM 에이전트 벤치마크는 작업 완료율, 신뢰성, 추론 비용을 측정하지만, 에이전트 실행 후 디스크에 남는 영속 데이터—로그, 컨텍스트 스냅샷, 체크포인트, 디버그 추적 등—는 측정하지 않는다. 우리는 실행 후 에이전트 저장소 발자국(storage footprint)을 측정하는 크로스-프레임워크 벤치마크인 AgentFootprint를 소개한다. 이 벤치마크의 직렬화 인식(serialization-aware) 지표 모음은 총 보존량, 채널 구성, 중복, 증가율, 압축 가능성, 대화 기록 재구성 가능성을 측정한다. 또한 하나의 측정 함정을 해결한다: 데이터베이스 페이징과 JSON 이스케이핑이 반복 콘텐츠를 감추기 때문에 단순 바이트 수준 측정은 중복을 한 자릿수 수준으로 과소평가한다. 고정 추적(fixed-trace) 대조군은 에이전트가 생성한 논리적 볼륨을 영속성 층(persistence layer) 증폭과 분리한다: 동일한 실행 경로를 7개의 영속화 프레임워크에 재현하면 6.7배의 편차가 발생한다. 동일한 모델, 도구, 작업 조건에서 100% 정확도를 보이는 구성들 간에도 보존 바이트 수가 최대 15.7배 차이나며, 다만 각 기본 설정은 서로 다른 복구 및 감사 기능을 지원한다. 반복 관측 스트레스 작업에서 전체 기록을 보존하는 세 가지 구성은 초선형적으로 증가한다. 인스턴스 정규화된 SWE-bench Verified 제출물 108건의 내보낸 실행 경로는 인스턴스당 세 자릿수 크기에 걸쳐 분포하며, 해결률과의 유의미한 상관관계는 검출되지 않는다. 내용 주소 지정(content-addressed) 저장소는 모든 재구성 가능성 점수를 보존하면서 보존량을 4.8배~32.7배 감소시킨다. 이러한 결과는 영속 저장소를 정확도 및 재구성 가능성과 함께 보고해야 할 자원 지표로 확립한다.
실제 소프트웨어는 끊임없이 변화하는 개방형 요구사항을 충족하기 위해 지속적으로 진화해야 한다. 장기 실행 시스템으로 점점 더 많이 배포되는 AI 에이전트는 이제 이러한 진화를 주도하는 역할을 맡고 있다. 그러나 기존 벤치마크는 에이전트를 독립적이고 일회성 코딩 작업에서만 평가하여, 실제 소프트웨어 진화에 내재된 시간적 의존성과 기술 부채를 간과한다. 이러한 격차를 해소하기 위해, 우리는 잡음이 많은 커밋 로그에서 검증 가능한 마일스톤 DAG를 재구성하는 에이전트 파이프라인인 DeepCommit을 제안한다. 여기서 마일스톤은 기능적으로 응집된 개발 목표로 정의된다. 이 실행 가능한 시퀀스를 기반으로 SWE-Milestone 벤치마크를 구축하였으며, 이는 에이전트가 마일스톤 수준의 작업 스트림에서 시스템 무결성을 유지하고 오류 누적을 제한하는 능력을 평가한다. 이 두 차원은 현재 벤치마크에서 대체로 다루어지지 않는 장기적 소프트웨어 진화의 핵심 요소이다. 4개의 에이전트 프레임워크에서 12개의 최신 모델을 평가한 결과, 심각한 취약점이 드러났다: 전체 성능 점수가 독립 작업에서의 >80%에서 연속적 설정에서 최대 38%로 크게 하락하여, 에이전트가 장기적 유지보수와 오류 전파에 있어 겪는 심각한 어려움이 드러났다.
DeepSWE는 기존 SWE-bench 계열 벤치마크의 사전학습 데이터 오염과 상속된 테스트의 채점 신뢰성 문제를 해결하기 위해, 91개 오픈소스 저장소에서 직접 작성한 113개의 장기 소프트웨어 공학 과제를 제공하는 코딩 에이전트 평가 벤치마크다. 수작업으로 제작된 기능 검증기를 사용해 LLM 심판과의 불일치율을 SWE-Bench Pro 대비 약 10배 낮추면서(1.4% 대 32.4%), 최첨단 에이전트 간 성능 차이를 더 넓은 점수 범위로 구분한다.
LLM 에이전트가 긴 에피소드에서 실패한 행동을 반복하며 드리프트(drift)되는 문제를 해결하기 위해, aTTT(Agentic Test-Time Training)는 이전 업데이트에서 반복된 n-gram에 해당하는 토큰의 손실을 낮추는 토큰 수준 재가중치 방법을 도입한다. vLLM의 런타임 LoRA API를 활용한 병렬 서빙 시스템으로 오버헤드를 1.9배로 제한하면서, ALFWorld에서 최대 5.0포인트, SWE-bench Lite에서 4.9포인트의 성공률 향상을 달성했다.
대규모 언어 모델(LLM) 기반 코딩 에이전트는 개발 환경과의 반복적인 상호작용을 통해 소프트웨어 엔지니어링 작업을 수행하는데, 이 과정에서 반환된 관측(observation)이 컨텍스트에 누적되어 추론 비용의 주요 원인이 된다. 관측 압축은 관측을 컨텍스트에 추가하기 전에 단축함으로써 이 비용을 줄인다. 그러나 기존 방법들은 압축이 에이전트의 후속 행동에 미치는 영향을 명시적으로 모델링하지 않기 때문에 효율성과 효과성 간의 균형이 여전히 만족스럽지 않다. 본 논문은 코딩 에이전트를 위한 액션 보존 관측 압축 방법인 CoACT를 제안한다. CoACT는 다음 액션 보존(NAP, next-action preservation)을 기반으로 구축되며, NAP는 압축된 관측이 원본 관측과 동일한 다음 액션을 유도할 것을 요구한다. 에이전트의 즉각적인 다음 액션을 확인함으로써, NAP는 압축이 지속적인 작업 수행에 필요한 정보를 보존하는지 여부에 대한 실용적인 신호를 제공한다. 학습 과정에서 교사 모델은 먼저 각 관측의 다중 압축 후보를 생성한다. CoACT는 이후 NAP에 기반한 액션 보존 보상을 사용하여 에이전트의 다음 액션을 변경시킬 후보를 필터링하고, 길이 감소 보상을 사용하여 경량 압축기의 지도 학습을 위한 간결한 후보를 선택한다. 세 가지 에이전트 모델을 사용한 SWE-bench Verified 실험에서 CoACT는 평균 총 토큰 소비를 33.0% 감소시키면서 비압축 에이전트에 근접한 작업 수행 효과를 유지함을 보인다.
Self-evolving agents violate the assumption behind most learning-theoretic guarantees: the data, evaluator, components, and hypothesis space are produced by the policy being updated. We present \textbf{SEA}, an architecture that confines self-modification to a small steering adapter and a versioned harness around a \emph{frozen} base model and admits each modification only through an anytime-valid gate that emits an auditable certificate against a fixed error budget. Five loop controllers compose published guarantees; because such gates can only \emph{select} among behaviors the frozen base already produces, five verifier-in-the-loop mechanisms -- best-of-$N$, micro-step search, self-authored reproduction oracles, search-layer control, and self-repair -- supply the dense, grader-free signal the gates require, computed from the issue text alone. On a $52$-instance SWE-bench Verified subset across four base models, base capability is the dominant, confound-free effect, and on two strong base models a deliberate no-op-composite control isolates the suite's contribution at $+4$ and $+5$ (\textsc{Glm}~5.2 $24\to28$; \textsc{Gpt} $29\to34$, the $65\%$ best), with event logs confirming that its mechanisms fire and prevent regressions. Results are single-run on expensive evaluations; confirming run-to-run variance and adapting the per-task algorithm mix are future work.
Information localization within massive repositories is a cornerstone of agentic LLM systems. While synthetic data-driven optimization has proven successful in training LLMs, little attention has been paid to optimizing the agent's working environment (the repository itself) in a data-driven manner. To bridge this gap, we present Libra, a self-evolving framework that introduces mutable "catalogs" (hierarchical Markdown files serving as navigable indices) into the repository. Libra runs an LLM-driven optimization loop where a Prompter generates synthetic queries, a frozen Solver attempts to resolve them by navigating the catalogs, and a Healer rewrites the catalogs in response to the Solver's localization failures. Evaluations across 12 SWE-bench Lite repositories demonstrate that this environmental healing yields continual, logarithmic improvements in code localization accuracy. Furthermore, these environmental improvements transfer zero-shot across different LLMs and problem sets. Although the focus of this paper is to study the general behavior of such a system, we also demonstrate that a minimalist coding agent equipped with Libra-optimized catalogs outperforms state-of-the-art baselines. Code is available at https://github.com/salesforce-misc/Libra and data at https://huggingface.co/datasets/Salesforce/Libra.
Program verifiers play a central role in training coding agents, including selecting trajectories for supervised fine-tuning (SFT) and providing rewards for reinforcement learning (RL). Standard execution-based verification requires running unit tests inside per-repository environments such as Docker images, incurring substantial environment setup costs. We propose Dockerless, an environment-free agentic patch verifier that evaluates generated code patches without executing them. Rather than simply matching candidate patches to references, Dockerless judges patch correctness using evidence gathered through agentic repository exploration. On a verifier evaluation benchmark, Dockerless outperforms the strongest open-source verifier by 14.3 AUC points. Using Dockerless as both the SFT trajectory filter and the RL reward enables a fully environment-free post-training pipeline. The resulting model reaches 62.0%, 50.0%, and 35.2% resolve rate on SWE-bench Verified, Multilingual, and Pro, respectively. It surpasses the Qwen3.5-9B baseline by 2.4, 8.7, and 2.9 points, matching environment-based post-training.
Long-horizon software engineering agents often need to manage lengthy and noisy interaction histories under limited context budgets. Existing memory management methods typically rely on static compression workflows or impose rigid constraints on compression timing and granularity. Moreover, these approaches fail to jointly optimize memory management and issue resolution capabilities to improve performance while reducing token usage. We present SWE-MeM, a training framework for proactive and on-demand memory management in software engineering agents. SWE-MeM provides a flexible memory tool that lets agents decide when, what, and how to compress based on trajectory state, task progress, and remaining context budget. We train agents with synthesized proactive memory-management trajectories and Memory-aware GRPO, which jointly optimizes memory management and issue resolution through memory-aware trajectory splitting and step-level credit assignment. On SWE-Bench Verified, SWE-MeM achieves 43.4% and 60.2% resolve rate with 4B and 30B models, respectively, outperforming existing memory management baselines in both performance and efficiency.