arXiv:2611.24924v1 cs.SE

Agentic Harness Engineering Beta: 요구사항 중심의 에이전트 하네스 진화

Agentic Harness Engineering Beta: Requirement-Centered Evolution of Agent Harnesses

Jiahang Lin, Jiahao Chen, Yiding Wang, Shichun Liu, Chengjun Pan, Shihan Dou, Honglin Guo, Yuyang Hu, Changhao Jiang, Zhenhua Han, Hang Yan, Qi Zhang, Tao Gui, Xuanjing Huang

제출 2026-11-19

한국어 초록

실제 환경의 하네스 엔지니어링은 개발과 검증을 이끄는 명시적·암묵적 사용자 요구사항에 의해 추진된다. 그러나 기존 하네스 진화 방법은 암묵적 요구사항과 상호작용 필요를 간과하는 경우가 많으며, 단일 진화 에이전트가 하네스를 수정하고 벤치마크 점수로 변경 사항을 선택한다. 이 과정은 좁은 범위의 패치를 만들어 내고 벤치마크에 특화된 지역 최적에 빠지게 하는 경우가 많다. 본 연구는 실제 엔지니어링 관행을 하네스 진화에 도입하는 요구사항 중심 루프인 Agentic Harness Engineering Beta(AHE-Beta)를 소개한다. 이 루프는 세 단계로 구성된다. (1) 사용자 주도 평가에서는 시뮬레이션된 사용자가 여러 턴에 걸쳐 하네스를 사용하면서 자신의 요구사항을 이슈로 제기한다. (2) 팀 기반 수정에서는 해당 요구사항을 과제 특화 패치가 아닌 일반화 가능한 변경으로 구현한다. (3) 요구사항 기반 선택에서는 검증된 요구사항을 해결하고 리뷰를 통과한 경우에만 변경을 병합한다. 실험적으로 보류된 과제에서 AHE-Beta는 Base Harness보다 토큰을 40.8% 적게 사용하면서 pass@1을 21.9%에서 33.3%로 높이고, Claude Code, Meta-Harness, AHE보다 높은 pass@1을 달성한다. 블라인드 인간 A/B 테스트에서 실제 사용자는 유효한 48쌍 중 31쌍에서 AHE-Beta를 선호하며 다섯 가지 모든 차원에서 더 높게 평가하는데, 이는 사용자 시뮬레이터의 방향성 선호와 일치한다. 인간 A/B 결과는 AHE-Beta가 하네스 진화를 실제 사용자 요구사항에 정렬한다는 목표를 달성함을 보여 준다. 추가 진화 없이도 이득은 GLM-5.3과 DeepSeek-V4.1-Flash로 전이되어 Base Harness 대비 pass@1이 각각 15.8%, 5.3% 향상된다. 이러한 결과는 종합적으로 요구사항 중심의 하네스 진화가 에이전트 역량을 개선하는 더 일반적인 방법임을 보여 준다.

원문 초록

Real-world harness engineering is driven by explicit and implicit user requirements, which guide development and validation. However, existing harness evolution methods often overlook implicit requirements and interaction needs, while using a single evolution agent to modify the harness and benchmark scores to select changes. This process often produces narrow patches and leads to benchmark-specific local optima. We introduce Agentic Harness Engineering Beta (AHE-Beta), a requirement-centered loop that brings real-world engineering practices into harness evolution. The loop consists of three steps: (1) User-driven evaluation lets simulated users raise their requirements as issues while they work with the harness over multiple turns. (2) Team-based modification implements those requirements as generalizable changes rather than task-specific patches. (3) Requirement-driven selection merges a change only when it resolves a verified requirement and passes review. Empirically, on held-out tasks, AHE-Beta raises pass@1 from 21.9% to 33.3% while using 40.8% fewer tokens than Base Harness, and achieves higher pass@1 than Claude Code, Meta-Harness, and AHE. In a blind human A/B test, real users prefer AHE-Beta in 31 of 48 valid pairs and rate it higher on all five dimensions, matching the directional preference of the user simulator. The human A/B results show that AHE-Beta achieves its goal of aligning harness evolution with real-world user requirements. Without further evolution, the gains transfer to GLM-5.3 and DeepSeek-V4.1-Flash with pass@1 improvements of 15.8% and 5.3% over Base Harness. Together, these results show that requirement-centered harness evolution is a more general method for improving agent capabilities.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24924v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.