Program verifiers play a central role in training coding agents, including selecting trajectories for supervised fine-tuning (SFT) and providing rewards for reinforcement learning (RL). Standard execution-based verification requires running unit tests inside per-repository environments such as Docker images, incurring substantial environment setup costs. We propose Dockerless, an environment-free agentic patch verifier that evaluates generated code patches without executing them. Rather than simply matching candidate patches to references, Dockerless judges patch correctness using evidence gathered through agentic repository exploration. On a verifier evaluation benchmark, Dockerless outperforms the strongest open-source verifier by 14.3 AUC points. Using Dockerless as both the SFT trajectory filter and the RL reward enables a fully environment-free post-training pipeline. The resulting model reaches 62.0%, 50.0%, and 35.2% resolve rate on SWE-bench Verified, Multilingual, and Pro, respectively. It surpasses the Qwen3.5-9B baseline by 2.4, 8.7, and 2.9 points, matching environment-based post-training.
Benchmarks are widely used to evaluate task completion by Large Language Models (LLMs), but this approach has accumulated construction-validity problems, and a passing score may not show whether the requested task was delivered. We study both problems. In a controlled code-as-spec setup, two production Copilot CLI agents (claude-opus-4.7, gpt-5.5) re-implement a React Fluent-UI data table in Angular as a reusable library under a hidden 222-test Playwright oracle across 18 runs and three oracle-availability conditions. Alongside the score, we run a mechanical library audit and check each verdict with a no-op ablation. Without the oracle, the library is present but unfinished, revealed by scores. With the oracle in the loop, the score reaches near-perfect, but from a demo holding the tested behavior directly, the library left dead or absent. We call this building to the test; the broader disposition behind both we call validation self-awareness. The agent does not, on its own, validate what it ships as a user would. Prevalence remains an open question across other agents, signals, and model families. Beyond benchmark scores, dispositions like validation self-awareness merit research attention.
자율 코딩 에이전트는 이제 공유 저장소에서 풀 리퀘스트(pull request)를 대규모로 열고 병합하며, 이 분야는 기존에 컴포넌트를 평가해 왔던 방식대로 고립된 벤치마크(benchmark) 과제에서 에이전트를 하나씩 평가한다. 그러나 각각 자신의 테스트를 통과하는 에이전트들도, 어떤 단일 기여도 설명할 수 없는 문제가 축적되는 저장소를 남긴다. 우리는 이 문제가 개별 에이전트에 속하는 것인지, 아니면 문제가 축적되는 저장소에 속하는 것인지 묻는다. 우리는 통합 마찰(integration friction)을 연구한다. 이는 다른 기여자들이 동시에 변경하고 있는 코드베이스에 기여를 통합하는 데 드는 비용이다. 930,000개가 넘는 에이전트 작성 풀 리퀘스트에 걸쳐, 기여, 저자, 규모, 에이전트를 통제한 뒤 마찰의 변동 중 얼마나 많은 부분이 저장소에 남아 있는지 측정한다. 약 절반은 그렇고, 완전한 통제를 적용해도 남아 있다. 동일한 저장소에서 에이전트 작성 기여는 이 저장소 수준 마찰을 인간 작성 기여보다 대략 두 배로 집중시킨다(급내상관(intraclass correlation) 0.30 대 0.16). 이 격차는 코드베이스 규모, 연령, 작업 형태, 프로세스 성숙도, 병합 경로를 통제한 뒤에도 유지된다. 리스크는 에이전트가 아니라 생태계의 속성이다. 따라서 AI-네이티브 소프트웨어는 에이전트를 하나씩보다 생태계 수준에서 측정하고 거버넌스하는 것이 더 낫다.
AI 코딩 에이전트의 컨텍스트 폭발과 조용한 스펙-코드 드리프트를 해결하기 위해 Spec Growth Engine을 제안하며, 기계 판독 가능한 스펙 그래프, Spine 컨텍스트 어셈블러, 가장 어려운 것부터 진행하는 수직 슬라이스(vertical-slice) 성장 프로토콜, 드리프트 게이트로 두 문제를 동시에 다룬다. Parnas 정보 은닉, C4, ADR, Walking Skeleton, Reflexion Models, Fitness Functions 등 기존 소프트웨어 공학 원칙을 코드와 결합하고 기계적으로 강제하는 경량 통합 프레임워크로, RUP·MDA 같은 무거운 방식의 오버헤드 없이 스펙-코드 분기를 병합 차단 조건으로 만든다.
10,008개 공개 GitHub 저장소 조사에서 LLM 코딩 에이전트 구성이 조직 경계를 넘어 미선언 중복 전파(10.1%)되고 권한 경계를 거의 선언하지 않는(<1%) 관리 공백이 확인됐다. Rel(AI)Build는 SHA-256 공급망 관리, LLM 호출 전 계층형 권한·차단 목록, 요구사항-파일-테스트 추적 단계 게이트, 7개 IDE 대상 단일 정의 컴파일, Jaccard 기반 프롬프트 드리프트 탐지를 갖춘 결정론적 제어 평면으로 이를 막으며, 주입된 위반에 대한 적합성 테스트로 각 메커니즘의 불변 조건 강제를 확인했다.
코딩 에이전트에서는 복잡한 후보 해 생성보다 이를 안정적으로 검증하는 것이 더 어려워졌고, 모든 검증기는 인간 의도의 프록시에 불과해 보상 해킹과 의도 미명확성 문제에 직면한다. 테스트·루브릭·사용자 피드백·자동화 에이전트 검증기 등 네 가지 보상 구성을 분석한 결과, 검증 신호의 확장성·충실성·견고성을 동시에 달성하는 설계가 보상 해킹을 억제하고 벤치마크 성능을 개선하며, 고정된 보상 함수 대신 생성기와 함께 공진화하는 검증이 필요함을 보인다.
The increasing use of AI systems for code generation raises a central security question: what can today's models and coding agents actually do to produce secure code, where do they still fail, and what would move the field forward? Existing work has explored prompting, fine-tuning, reinforcement learning, and agentic workflows for secure code generation, but the field still lacks a systematic understanding of how these techniques improve security and why substantial failures persist. In this SoK, we systematize the progress, pitfalls, and paths forward for AI secure code generation. We introduce a three-level framework that measures models' natural-language understanding of secure coding principles, their code-level actuation of those principles during generation, and the knowledge--actuation gaps between the two. We instantiate this framework across models and coding agents on benchmarks covering both isolated function-level security and full web-application security. Our results show that secure-coding-principle understanding is a statistically strong predictor of code-level outcomes, including functional correctness, security, and joint functional-security correctness. Yet substantial knowledge--actuation gaps remain: models can recognize relevant security principles but still fail to translate them into secure and functional code. These findings offer a principle-centered account of where AI secure code generation stands today and identify concrete paths forward through principle-guided generation, evaluation, benchmarking, and agentic workflows.
NatureBench는 Nature 계열 동료심사 논문 90개 과제로 구성된 교차학문 벤치마크로, NatureGym 파이프라인이 논문별 컨테이너 과제 환경을 자동 구축해 코딩 에이전트(agent)가 발표된 SOTA(state-of-the-art)를 넘어설 수 있는지 평가한다. 웹 검색을 금지한 프로토콜에서 최강 에이전트도 g>0.1 기준 17.8% 과제에서만 SOTA를 초과했으며, 성공은 주로 과학 과제를 지도학습 예측 문제로 치환하는 방법론적 번역에서 비롯되고 실패는 잘못된 방법 선택과 연산 예산 부족이 주된 원인이었다.
Modern coding agents pair LLM generators with various tools, including cheap diagnostics and expensive verifiers. The tool-use decisions are typically governed by orchestrators that often use fixed rules and ignore uncertainty. We formulate orchestration as cost-sensitive sequential hypothesis testing: a Bayesian controller maintains a belief over candidate correctness and dynamically decides whether to gather more evidence, refine the candidate, verify it, or stop. Across six generators and nine coding benchmarks, Bayesian control proves to be most valuable when verification is costly and critics are informative but imperfect. Beyond control, the belief state yields an interpretable correctness score that outperforms token-probability and raw tool-success baselines for uncertainty quantification.
Generative AI coding agents are entering the open-source supply chain, yet their diverse and often invisible traces leave their prevalence poorly understood. We introduce a multi-layered detection framework that integrates configuration-file scanning, commit-message analysis, author-identity matching, and bot-signature lookup across World of Code (180M+ Git repositories), classifying agent traces into four behavioral types. No single method captures more than a fraction of activity: multi-method detection identifies 850,157 Claude Code commits in one snapshot, of which bot-account lookup_the signal most adoption studies rely on_recovers only 28,154 (3.3%), a 30x relative-recall gap, so single-signal prevalence estimates are biased low by at least this factor. Every detection pattern is hand-validated (495 labels) with per-cell precision and Wilson confidence intervals. Across snapshots from December 2024 to April 2026, commit-attributed agents generate over 320,000 commits per month; Claude Code leads (886,122 commits across 17,295 projects) and dominates silent, configuration-file-only adoption (21,078 projects). Compared against an independent pull-request census (AIDev), the two channels capture nearly disjoint agent populations_a PR census misses 79% of commit-detected Claude Code adopters and essentially all Codex adopters_and different kinds of work: PR-deployed cloud agents (Codex, Cursor) surface as feature work, while commit-deployed in-editor agents (Claude Code, OpenHands, Aider) surface as maintenance. The observed work profile follows deployment and detection mode rather than the tool itself, so no single channel is representative.
저장소 수준 코딩 벤치마크로 통제 실험을 구성하는 CodeThread 프레임워크를 통해, 네 개의 최신 코딩 에이전트와 네 개 벤치마크에서 에이전트가 에이전트 코드 위에 이어 작업할 때 사람이 작성한 코드보다 작업 해결률이 최대 13.1%까지 낮아짐을 확인했다. 회귀 분석 결과 전통적 유지보수성 지표로는 이 차이를 설명하기 어렵고, 입력 검증·오류 처리 변경 같은 행동적 차이가 더 뚜렷한 신호로 나타났다.
코딩 에이전트는 이제 LLM과 작업 중인 저장소에 대한 검색을 교차 수행하며, 배포된 하네스마다 검색 구현 방식이 크게 다르다. 고정된 코딩 에이전트 하네스와 고정된 모델 환경에서, 구조적 코드베이스 인덱스를 추가하면 실제로 비용이나 해결(resolve) 성능이 바뀌는가? 우리는 세 가지 군(인덱스가 있는 하네스, 동일 하네스에서 인덱스 없음, agentic-grep 비교군)으로 SWE-PolyBench Verified와 SWE-bench Pro에서 실험했으며, Claude Opus 4.7을 전 구간 고정하고 세 개 시드에 걸쳐 누수 감사를 거친 과제별 샌드박스에서 수행했다. 하네스 내 ablation은 큰 localization(국소화) 이득과 통계적으로 유의하게 분리된 resolve 이득을 낳으며, 셀당 비용 페널티는 없고 solve당 비용은 더 낮다. 하네스 간 교차 검증에서는 인덱스가 agentic-grep 기준선 대비 resolve나 localization에서 퇴보하지 않으며, 역시 비용 페널티가 없다. 셀별 제외 원장, 누수 감사 스크립트, localization 추출기, 결과 데이터베이스를 공개한다. 따라서 구조적 코드베이스 인덱스의 배포 관련 질문은 실행 비용이 너무 비싼지(여러 시드에 걸쳐 인덱스는 agentic grep보다 낮은 $/solved를 기록한다)가 아니라, 워크로드에 구조적 순위가 효과를 발휘하는 다중 파일 변경이 포함되는지 여부이다.
LLM 기반 코딩 에이전트는 코드 자체에는 존재하지 않는 저장소에 대한 고차원적 운영 지식(어떤 파일에 어떤 하위 시스템이 있는지, 테스트 스위트를 실행하는 방법, 과거에 어떤 워크플로우가 잘못된 수정으로 이어졌는지)이 필요합니다. 엔지니어들은 보통 이러한 맥락을 코딩 에이전트에 대한 지침으로 제공하기 위해 \texttt{AGENTS.md} 파일을 유지 관리하지만, 이것이 도움이 되는지에 대해서는 논쟁의 여지가 있습니다. 최근 연구들은 LLM이 생성한 가이던스가 에이전트 성능을 향상시키는지 저해하는지에 대해 의견이 갈립니다. 본 논문에서 우리는 가이던스가 생성되는 방식이 결정적 변수임을 보여주며, \emph{탐색-정제 튜닝(probe-and-refine tuning)}을 소개합니다. 이는 튜닝 중 에이전트 루프나 도구 사용 없이 원샷 LLM 호출을 통해 합성 버그 수정 프로브를 사용하여 저장소의 가이던스 파일을 반복적으로 진단하고 패치하는 절차입니다. Qwen3.5-35B-A3B를 사용하여 200단계로 수행된 4회의 독립적인 시행에서 SWE-bench Verified를 기준으로, 탐색-정제 튜닝은 33.0\,\%의 평균 해결률을 달성했으며, 이는 초기화에 사용된 정적 지식 베이스의 28.3\,\%와 무가이드 기준선의 25.5\,\%보다 높았습니다(두 탐색-정제 대비 모두 $p < 0.001$). 개선은 정밀도보다는 커버리지에서 비롯됩니다. 정제된 가이던스는 14.5pp 더 많은 인스턴스에 대해 평가 가능한 패치를 생성하는 반면, 패치당 정밀도는 통계적으로 일정하게 유지됩니다($\sim$59\,\%, $p = 0.119$). 이는 개선된 가이던스가 에이전트가 수행하는 변경의 품질을 높이기보다는 올바른 파일에 도달하는 데 도움을 준다는 것을 보여줍니다. 또한, 스텝 예산 실험은 가이던스가 에이전트가 더 큰 스텝 예산을 생산적으로 사용할 수 있게 해주는 요소임을 보여주며, NVIDIA-Nemotron-3-Nano-30B-A3B를 사용한 교차 모델 실험은 모델이 충분히 진단적인 출력을 생성하지 못할 때 튜닝 루프가 저하됨을 발견했습니다. 단, 그때도 패치당 정밀도는 여전히 일정하게 유지됩니다.
소프트웨어 공학 및 배포는 점점 더 AI 코딩 에이전트에게 위임되고 있습니다. 도입 규모가 확대됨에 따라 드물지만 매우 파괴적인 실패 모드가 표면화되고 있습니다. 본 논문에서는 이러한 실패 모드가 세 가지 명확한 메커니즘에서 기인한다고 분석합니다: 기본 모델 동작이 안전하지 않은 명세 불충분(underspecification); 안전한 행동이 가능함에도 바이어스나 능력 제한으로 인해 모델이 이를 준수하지 않는 능력 오류(capability errors); 그리고 모델이 하니스(harness)를 통해 안전한 행동을 실행하지 못하는 에이전트 하니스 오류(agent harness errors)입니다. 실제 배포 실패 사례에서 영감을 받은 8가지 평가를 통해 이를 측정하였으며, 총 20개의 코딩 환경과 59개의 합성 대화 템플릿을 사용하였습니다. 이 평가를 바탕으로, 이러한 오류를 완화하기 위한 에이전트 하니스 수정안인 AgentArmor를 제안합니다. 확장된 시스템 프롬프트, 별도의 명령어 분류기, '3스트라이크' 정책, 결정론적 가드레일(guardrails), 그리고 에이전트가 자체 컨텍스트를 편집할 수 있는 도구를 추가하여, AgentArmor가 통계적으로 유의미한 수의 샘플에서 더 안전함을 입증합니다. 따라서 본 연구는 현재 코딩 에이전트에 대한 구체적인 완화책과 향후 에이전트 하니스 기능에 대한 설계 철학을 제시합니다.
우리는 코딩 에이전트의 지구력, 즉 실패 전까지 처리할 수 있는 연속적인 상호작용 턴(변경 요청)의 수를 측정하는 벤치마크인 StaminaBench를 소개합니다. 널리 사용되는 해결된 작업 비율(fraction-of-tasks-solved) 메트릭과 달리, 이는 세션이 수십 또는 수백 턴에 걸쳐 진행되는 실제 바이브 코딩(vibe-coding) 상황과 부합합니다. StaminaBench에서 에이전트는 REST API 서버를 구현하고, 절차적으로 생성된 후속 변경 요청을 조정 가능한 횟수만큼 수정합니다(실험에서는 100회로 설정하여 최대 6,000줄의 코드베이스 생성). 테스트는 LLM의 개입 없이 완전히 프로그래밍 방식으로 생성되어 재현성과 신뢰성을 보장합니다. 변경 시퀀스는 하드코딩된 샘플러나 LLM 기반 샘플러 중 하나에서 추출되며, 변경 사항이 유효하도록 하기 위해 둘 다 구조화된 행동 공간으로 제한됩니다. 에이전트와 서버는 격리된 환경에서 실행되며 HTTP를 통해 벤치마크와 통신하므로, 테스트는 완전히 블랙박스 방식이며 언어에 독립적입니다. 우리는 7개의 오픈 소스 LLM과 결합된 6개의 에이전트 하네스(harness)를 각각 100턴으로 구성된 20개 시나리오에서 평가했으며 다음과 같은 결과를 발견했습니다: (1) 테스트된 모든 모델은 5~6턴 이내에 실패하여, 철저한 테스트 없는 바이브 코딩 스타일의 프로그래밍이 버그를 유발함을 확인했습니다; (2) 테스트 피드백을 에이전트에게 다시 전달하고 재시도를 허용하면 통과된 턴 수가 최대 12배까지 향상됩니다; 그리고 (3) 우수한 성능을 위해서는 적절한 하네스가 필수적입니다: 더 강력한 모델은 최상의 하네스와 최악의 하네스 간에 최대 6배의 성능 격차를 보이는 반면, 더 약한 모델은 어떤 하네스를 사용하더라도 실패합니다. 우리는 멀티턴 코딩 에이전트의 행동에 대한 추가 연구를 가능하게 하기 위해 벤치마크와 생성된 작업을 공개합니다. 벤치마크 코드 및 데이터: github.com/amazon-science/StaminaBench.
게임 생성은 코딩 에이전트의 새로운 응용 분야로, 자연어 명세를 플레이 가능한 인터랙티브 시스템으로 변환하는 능력을 모델에 요구한다. 전통적인 코딩 태스크와 달리, 게임 생성은 게임 엔진 내에서 이루어지며, 스크립트·씬·에셋·렌더링·런타임 인터랙션이 유기적으로 결합되어 일관된 게임플레이를 만들어야 한다. 우리는 엔드투엔드 게임 생성을 목표 환경에서 관찰 가능한 플레이어-게임 인터랙션을 통해 명세를 실현하는 완전한 게임 아티팩트를 생성하는 문제로 형식화한다. 이 설정을 평가하려면 엔진 그라운딩(Engine Grounding), 아티팩트 완전성(Artifact Completeness), 인터랙티브 검증(Interactive Verification)이라는 세 가지 요건이 필요함을 주장한다. 우리는 재현된 데모와 루브릭 기반 멀티모달 판정을 통해 실행 가능한 게임플레이를 평가하는 인터랙션 기반 평가 프레임워크를 제안한다. 이 프레임워크를 15개 게임 패밀리에 걸친 140개의 Godot 태스크로 구성된 벤치마크인 GameCraft-Bench로 구체화한다. 최신 코딩 에이전트에 대한 평가 결과, 엔드투엔드 게임 생성은 여전히 매우 어려운 과제임이 드러났다: 가장 강력한 에이전트도 41.46%밖에 달성하지 못했으며, 대부분의 에이전트는 40% 미만의 점수를 기록했다. 추가 분석에 따르면, 에이전트들이 인식 가능한 메커닉을 구현하는 경우는 많지만, 충분한 콘텐츠·기능적 시각 피드백·일관된 표현을 갖춘 완전한 게임을 제공하는 데는 어려움을 겪는 것으로 나타났다. 데모, 코드, 데이터는 https://tongxuluo.github.io/gamecraft-bench-website 에서 확인할 수 있다.
최근의 일화적인 증거는 AI 코딩 에이전트가 원본 데이터와 코드가 주어지면 발표된 연구 결과를 재현할 수 있음을 시사하지만, 사회과학 전반에 걸친 체계적인 평가는 여전히 제한적입니다. 기존 평가 벤치마크는 규모가 작거나, 올바르게 실행되지 않는 코드와 같은 재현 자료 자체의 문제로 인해 에이전트 성능을 왜곡하는 등 부족한 점이 있습니다. 이에 본 연구에서는 SocSci-Repro-Bench를 소개합니다. 이 벤치마크는 4개 학문 분야와 13개 실질적 영역에 걸친 221개 작업으로 구성되어 있으며, 사용 가능한 자료로 결과가 완전히 재현 가능한 연구나 데이터 누락으로 인해 재현 불가능함이 명백한 연구를 바탕으로 구축되어 에이전트의 재현 능력을 분리하여 측정할 수 있게 합니다. 두 가지 최첨단 코딩 에이전트인 Claude Code와 Codex를 평가한 결과, 두 에이전트 모두 상당 부분의 사회과학 연구 결과를 재현할 수 있음을 확인했으며, Claude Code가 Codex보다 현저히 더 우수한 성능을 보였습니다. 이러한 재현율은 유사한 재현 가능성 벤치마크에서 일반적인 대규모 언어 모델(LLM) 기반 에이전트에 대해 이전에 보고된 수치를 상당히 초과합니다. 두 에이전트 모두 근본적인 연구 질문 식별이 필요한 추론 작업에서도 강력한 성능을 보였으며, 추가 분석 결과 이러한 결과가 주로 암기에 의해 주도되는 것은 아님을 시사합니다. 재현 자료와 함께 원본 논문 PDF를 제공하면 성능이 다소 향상되지만, 재현이 불가능한 작업에서는 바이어스(bias)가 발생합니다. 또한, 에이전트가 미묘한 프롬프트 프레이밍(prompt framing)을 통해 확인적 사양 검색(confirmatory specification search) 쪽으로 유도될 수 있음을 보여줍니다. 종합적으로 이러한 발견은 최소한 일부 최첨단 코딩 에이전트가 계산 워크플로우의 신뢰할 수 있는 실행자로 기능할 수 있음을 시사하며, AI 시스템이 과학적 생산에서 더 큰 역할을 담당하게 됨에 따라 신중한 벤치마킹과 프롬프트 설계의 필요성을 강조합니다.
SWE-bench와 같은 저장소 수준 코딩 벤치마크는 코딩 에이전트의 능력 급격한 발전을 주도했습니다. 그러나 이들은 보통 코딩 작업을 전체적이고 이진적인 예측 문제(예: 해결됨 또는 해결되지 않음)로 취급하며, 저장소 이해, 컨텍스트 검색, 코드 지역화, 버그 진단과 같은 세분화된 에이전트 능력을 간과합니다. 본 논문에서 우리는 코딩 에이전트의 핵심 능력인 저장소 탐험의 평가를 분리한 벤치마크인 SWE-Explore를 소개합니다. 저장소와 이슈가 주어지면, SWE-Explore는 탐색자에게 고정된 라인(line) 예산 내에서 관련 코드 영역의 순위가 매겨진 목록을 반환하도록 요청합니다. SWE-Explore는 10개 프로그래밍 언어와 203개 오픈 소스 저장소에 걸쳐 848개의 이슈를 다룹니다. 각 인스턴스에 대해, 우리는 동일한 이슈를 성공적으로 해결한 독립적인 에이전트 궤적(trajectories)으로부터 라인(line) 수준 정답(ground truth)을 도출하며, 그 솔루션 경로가 실제로 참조한 특정 코드 영역을 추출합니다. 우리는 커버리지(coverage), 순위(ranking), 컨텍스트 효율성(context-efficiency) 차원에서 탐험을 평가하며, 이러한 메트릭들이 다운스트림(downstream) 수정(repair) 동작을 강력하게 추적함을 보여줍니다. 다양한 검색 방법, 일반적인 코딩 에이전트, 전문화된 지역화 모델(localizers)에 걸쳐, 우리는 에이전트 기반 탐색자가 고전적 검색보다 명확히 상위 계층을 형성함을 발견했습니다. 현대적 방법들에서 파일 수준 지역화는 이미 강력하지만, 라인(line) 수준 커버리지와 효율적인 순위 매기기는 최첨단(SOTA) 탐색자를 구분하는 핵심 축으로 남아 있습니다.
대규모 언어 모델(LLM) 기반 소프트웨어 공학 에이전트는 실세계 언어 모델 역량을 평가하는 핵심 테스트베드가 되었지만, 고품질 소프트웨어 공학(SWE) 태스크의 가용성 부족으로 인해 학습이 제한되고 있다. 기존의 합성 데이터 방법은 대체로 고정된 변이(mutation) 또는 버그 주입 절차를 통해 태스크를 생성하기 때문에, 결과 분포가 에이전트 자체의 약점이나 학습 진행 상황과 무관한 경우가 많다. 본 논문에서는 에이전트의 과거 문제 해결 트레이스를 학습 신호의 원천으로 재활용하는 폐쇄 루프 자기 진화 프레임워크인 Socratic-SWE를 소개한다. Socratic-SWE는 트레이스를 보상 계산의 근거로만 활용하는 데 그치지 않고, 반복적으로 나타나는 실패 패턴과 효과적인 수정 패턴을 요약하는 구조화된 에이전트 스킬로 증류한다. 이러한 스킬은 실제 저장소에서 목표 지향적인 수정 태스크 생성을 유도한다. 후보 태스크는 실행 기반 검증을 통해 확인되고, 솔버-그래디언트 정렬 보상으로 점수가 매겨지므로 선별된 태스크는 검증 가능하면서도 Solver 개선에 유용하다. 업데이트된 Solver는 새로운 트레이스를 생성하여 태스크 커리큘럼이 연속적인 라운드에 걸쳐 적응할 수 있도록 한다. SWE-bench Verified, SWE-bench Lite, SWE-bench Pro, Terminal-Bench 2.0 전반에 걸쳐 Socratic-SWE는 동일한 컴퓨팅 예산 하에서 자기 진화 베이스라인을 일관되게 능가하며, 세 번의 반복 후 SWE-bench Verified에서 50.40%를 달성하였다. 이러한 결과는 문제 해결 트레이스가 자기 진화 SWE 에이전트를 위한 확장 가능한 기반으로 활용될 수 있음을 시사한다.