AgentLens: SWE 에이전트 평가의 '운 좋은 통과' 문제 밝히기
AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation
한국어 초록
소프트웨어 공학(SWE) 에이전트의 평가는 최종 패치가 테스트를 통과하는지 여부라는 이진 신호가 지배한다. 이러한 결과 중심 관점은 원칙에 입각한 해결과 혼란스러운 시행착오 과정을 동등하게 취급한다. 우리는 이 동등성이 경험적으로 거짓임을 보인다. 8개 모델 백엔드에서 얻은 2,614개의 OpenHands 궤적을 60개의 SWE-bench Verified 태스크에서 평가하였다. 이 중 47개 태스크는 태스크 수준 프로세스 참조를 구성하기에 충분한 통과 궤적을 가지며, 이를 통해 1,815개 궤적의 평가 부분집합을 얻는다. 이 부분집합의 통과 궤적 중 10.7%는 회귀 순환, 맹목적 재시도, 검증 누락, 또는 시간적으로 무질서한 탐색·구현·검증으로 이루어진, 우리가 '운 좋은 통과(Lucky Pass)'라 부르는 행동을 보인다. 우리는 SWE 에이전트 궤적의 프로세스 수준 평가를 위한 프레임워크인 AgentLens를 도입하고, 품질 점수, 낭비 신호, 분기점, 그리고 47개의 태스크 수준 접두사 트리 수용기(PTA) 참조로 주석된 1,815개 궤적의 데이터셋인 AgentLens-Bench를 공개한다. AgentLens는 동일 태스크에 대한 여러 통과 해법을 병합하여 PTA 참조를 구축하고, 도구 정체성만이 아니라 궤적 이력에 기반하여 행동을 탐색, 구현, 검증, 또는 오케스트레이션으로 할당하는 컨텍스트 민감 의도 레이블러를 사용한다. AgentLens-Bench에서 품질 점수는 통과 궤적을 Lucky, Solid, Ideal 등급으로 구분하고, Lucky Pass를 다섯 가지 반복적 메커니즘으로 추가 분해한다. 8개 모델 백엔드에서 Lucky 비율은 0.5%에서 23.2%에 이르며, 일부 모델은 통과율 대신 품질 점수로 순위를 매길 때 최대 다섯 계단까지 순위가 변한다. AgentLens-Bench와 AgentLens SDK를 https://github.com/agentlens-framework/agentlens 에 공개하며, 프로젝트 페이지는 https://agentlens-framework.github.io/agentlens/ 이다.
원문 초록
Evaluation of software engineering (SWE) agents is dominated by a binary signal: whether the final patch passes the tests. This outcome-only view treats a principled solution and a chaotic trial-and-error process as equivalent. We show that this equivalence is empirically false. We evaluate 2,614 OpenHands trajectories from eight model backends on 60 SWE-bench Verified tasks. Of these, 47 have enough passing trajectories to construct task-level process references, yielding a 1,815-trajectory evaluation subset. Among passing trajectories in this subset, 10.7% exhibit behavior we call a Lucky Pass: regression cycles, blind retries, missing verification, or temporally disordered exploration, implementation, and verification. We introduce AgentLens, a framework for process-level assessment of SWE-agent trajectories, and release AgentLens-Bench, a dataset of 1,815 trajectories annotated with quality scores, waste signals, divergence points, and 47 task-level Prefix Tree Acceptor (PTA) references. AgentLens builds PTA references by merging multiple passing solutions for the same task, and uses a context-sensitive intent labeler to assign actions to Exploration, Implementation, Verification, or Orchestration based on trajectory history rather than tool identity alone. On AgentLens-Bench, the quality score separates passing trajectories into Lucky, Solid, and Ideal tiers and further decomposes Lucky Passes into five recurring mechanisms. Across the eight model backends, Lucky rates range from 0.5% to 23.2%, and some models move by as many as five rank positions when ranked by quality score instead of pass rate. We publicly release AgentLens-Bench and the AgentLens SDK at https://github.com/agentlens-framework/agentlens, with a project page at https://agentlens-framework.github.io/agentlens/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.12925v5제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.