arXiv:2611.22299v1 cs.AI

스스로 개선하는 실행 환경: 자기 개선형 에이전트 하니스의 통합 프레임워크

Harnesses That Improve Themselves: A Unifying Framework for Self-Improving Agent Harnesses

Deep Shah, Nehal Kathrotia

제출 2026-11-18

한국어 초록

파운데이션 모델이 자율 에이전트로 성공할지는 가중치만큼이나 런타임 소프트웨어에 달려 있다. 에이전트 하니스라 부르는 이 런타임은 문맥과 메모리를 관리하고, 여러 턴의 실행을 제어하며, 샌드박스에서 도구를 실행하고, 종료 전에 작업을 검증한다. 모델마다 도구를 쓰는 방식과 실패하는 방식이 다르므로, 특정 모델이나 과제에 맞춰 고정한 하니스는 다른 모델이나 과제에서 멈추거나 토큰을 낭비하거나 성능이 떨어지는 경우가 많다. 이 병목으로 인해 프롬프트 조정에서 자기 개선형 에이전트 하니스로 초점이 옮겨가고 있다. 이 시스템은 자신의 실행 기록을 검사해 런타임 버그와 모델의 한계를 구분하고 자체 코드를 다시 작성한다. 자기 개선형 에이전트 하니스의 아키텍처와 설계를 통합하는 프레임워크를 제안한다. 수정 가능한 런타임 구성 요소 네 가지인 문맥 및 상태, 에이전트 제어, 행동 인터페이스, 검증 및 복구를 네 단계의 반복 과정과 연결한다. 실패를 진단하고, 코드 패치를 제안하고, 후보를 검증한 뒤 변경을 배포한다. 이 프레임워크로 최적화 시스템이 긴 실행 궤적에서 오류를 추적하고, 종료 전 검증기, 반복 중단 장치, 영속 메모리 같은 재사용 가능한 런타임 기능을 찾는 과정을 보여 준다. 하니스 전체를 다시 작성하면 과적합하거나 모듈 간 연동이 깨지는 이유도 살핀다. 검증 조건을 통과한 모듈만 갱신하면 여러 모델에 적용할 수 있고 토큰 비용을 제한할 수 있다. 자기 수정을 안전하게 수행하도록 프롬프트 비대화, 벤치마크 편법 최적화, 평가기 변조와 같은 반복되는 실패에 대한 방어책을 제시한다. SWE-bench Lite 실험에서 검증을 거친 모듈 단위 진화는 여러 모델과 저장소에서 프롬프트 성찰과 하니스 전체 재작성보다 성능이 높았으며, 토큰 비용은 그 일부에 그쳤다.

원문 초록

Whether a foundation model succeeds as an autonomous agent depends as much on its runtime software as on its weights. This runtime, the agent harness, manages context and memory, steers multi-turn control, executes tool actions in sandboxes, and verifies work before stopping. Because models differ in how they use tools and how they fail, a static harness tuned for one model or task often stalls, wastes tokens, or regresses on another. This bottleneck has driven a shift from prompt tuning to self-improving agent harnesses: systems that inspect their own execution traces, separate runtime bugs from model limits, and rewrite their own code. We present a unifying architectural and design framework for self-improving agent harnesses. The framework pairs four editable runtime components (context and state, agent control, action interfaces, and verification and recovery) with a four-stage loop that diagnoses failures, proposes code patches, validates candidates, and deploys updates. Using this framework, we show how optimizers trace errors across long trajectories and discover reusable runtime mechanisms such as pre-stop verifiers, loop breakers, and persistent memory. We further show why full-harness rewrites overfit or break across modules, and how modular updates with validation gates generalize across models while bounding token cost. To keep self-modification safe, we establish practical defenses against recurring failure modes including prompt bloat, benchmark gaming, and evaluator tampering. Finally, experiments on SWE-bench Lite validate this framework, showing that gated modular evolution outperforms prompt reflection and full-harness rewrites across models and repositories at a fraction of the token cost.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22299v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.