우선순위 랭킹을 통한 하네스 옵티마이저의 직접 평가를 향하여
Towards Direct Evaluation of Harness Optimizers via Priority Ranking
한국어 초록
하네스 최적화(harness optimization)는 옵티마이저(optimizer) 에이전트가 타깃 에이전트의 하네스를 반복적으로 업데이트하도록 하여 에이전트 자동 생성을 가능하게 합니다. 이러한 성공에도 불구하고, 기존 연구들은 오로지 타깃 에이전트의 성능 향상만을 관찰하여 옵티마이저를 평가합니다. 이처럼 최종 개선도만을 간접적으로 평가하는 방식은 중간 단계에서 옵티마이저가 취하는 행동을 간과하는데, 이러한 행동은 종종 오류를 포함하며 배포 시 에이전트 성능을 저해합니다. 따라서 하네스 최적화가 옵티마이저의 정보에 기반한 업데이트 행동에 의해 주도되는지, 아니면 단순한 시행착오에 불과한지 불분명합니다. 이는 하네스 옵티마이저에 대한 직접적인 평가의 필요성을 제기합니다. 그러나 오라클(oracle) 하네스의 부재로 인해 하네스 옵티마이저를 직접 평가하는 것은 까다롭고 비용이 많이 듭니다. 이를 해결하기 위해 본 논문에서는 이들을 직접 평가하기 위한 단순하고 저비용인 설계인 우선순위 랭킹(priority ranking)을 제시합니다. 주어진 하네스 내의 구성 요소(예: 도구)들이 업데이트되었을 때 에이전트 성능을 개선하거나 저해할 잠재력에 따라 순위를 매기도록 하네스 옵티마이저에 요청함으로써, 제안하는 설계는 값비싼 롤아웃이나 수작업 검토 없이도 단계별 수준에서 옵티마이저의 역량을 정량화합니다. 더 중요한 점은, 옵티마이저의 랭킹 성능이 실제 다단계 하네스 최적화에서 에이전트를 개선하는 역량과 상관관계를 보인다는 것이며, 이는 우선순위 랭킹이 최적화 역량의 신뢰할 수 있는 지표임을 입증합니다. 우선순위 랭킹은 도메인, 설계, 시간 단계를 아우르는 182개의 인간 검증 최적화 시나리오 모음인 SHOR을 통해 가능해집니다. 코드 및 데이터: https://github.com/k59118/Harness_Optimizer_Evaluation.
원문 초록
Harness optimization enables automated agent creation by having an optimizer agent iteratively update the harness of target agents. Despite its success, current studies evaluate optimizers solely by observing target agents' performance gains. This indirect end-improvement evaluation neglects optimizers' actions at intermediate steps, which are often erroneous and hinder agent performance in deployment. Therefore, it is unclear whether harness optimization is driven by optimizers' informed update actions or simply trial-and-error. This necessitates direct evaluation of harness optimizers. However, evaluating harness optimizers directly is non-trivial and costly due to the lack of oracle harnesses. To address this, we present a simple, low-cost design to directly evaluate them, namely priority ranking. By asking harness optimizers to rank components (e.g., tools) in a given harness by their potential to improve/hinder agent performance when updated, our design quantifies optimizer ability at the step level without expensive rollouts or manual examination. More importantly, optimizers' ranking performance correlates with their ability to improve agents in actual multi-step harness optimization, establishing priority ranking as a reliable indicator of optimization ability. Priority ranking is enabled by SHOR, a collection of 182 human-verified optimization scenarios spanning across domains, designs, and time stages. Code and data: https://github.com/k59118/Harness_Optimizer_Evaluation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MedHarnessBench: 헬스케어 에이전트(Agent) 평가를 위한 통합 벤치마크
MedHarnessBench: A Unified Benchmark for Healthcare Agent Evaluation
헬스케어 에이전트(agent)는 이질적인 도구와 상태를 유지하는 워크플로우를 통해 종단적인(longitudinal) 임상 증거를 신뢰할 수 있는 행동으로 변환해야 하며, 이러한 조건에서 모델 중심 시스템은 컨텍스트를 잃거나, 도구를 오용하거나, 중대한 상태 전환을 검증하지 못하거나, 권한 경계를 침범할 수 있다. 기존의 의료 에이전트 벤치마크는 주로 최종 작업 결과(terminal task outcome)를 강조하기 때문에, 실행 실패가 에이전트 모델, 런타임 하네스(harness), 혹은 이들의 상호작용 중 어디에서 발생하는지 판단하기 어렵다. 우리는 결과를 보존하면서 일곱 가지 헬스케어 특화 프로세스 차원—진료 조치 이행(Care Action Fulfillment), 임상 자원 활용 능력(Clinical Resource Competence), 환자-증거 정합성(Patient-Evidence Alignment), 임상 워크플로우 연속성(Clinical Workflow Continuity), 임상 감사 가능성(Clinical Auditability), 폐루프 검증(Closed-Loop Verification), 임상 행위 경계(Clinical Conduct Boundaries)—을 독립적으로 평가하는 프레임워크인 Medical Harness Protocol을 제시한다. 또한 정규화된 개입 추적(normalized intervention trace)은 런타임 지원이 제공 가능한지(available), 활성화되었는지(activated), 전달되었는지(delivered), 에이전트에 의해 채택되었는지(adopted), 그리고 이후 행동에 전파되었는지(propagated)를 추적한다. 우리는 이 프로토콜을 FHIR/EHR 연산, 헬스케어 행정 인터페이스, 멀티모달 임상 도구 전반에 걸친 342개의 실행 가능한 작업으로 구성된 MedHarnessBench로 구체화한다. 16,000회 이상의 통제된 작업 실행에서 MedHarness는 최종 작업 성공률, 중간 하위 작업 완료율, 헬스케어 특화 프로세스 품질 전반에서 폭넓은 개선을 보인다. 또한 우리는 MedHarness를 여러 범용 하네스(harness)와 비교 평가하고, 통제된 단일 결함 교란(single-fault perturbation)을 사용하여 일곱 차원 평가의 민감도와 구분력을 검증한다. 이러한 결과는 헬스케어 특화 런타임 지원이 작업 완료율과 실행 품질을 모두 상당히 개선할 수 있음을 보여주는 동시에, 최종 결과만으로는 포착할 수 없는 실패를 드러낸다. 코드와 자료는 https://github.com/Tomry1114/Awesome-Agent-Harness-for-Healthcare 에서 확인할 수 있다.
AgentSWE: 코딩 에이전트는 사용자가 실제로 원하는 에이전트를 구축할 수 있는가?
AgentSWE: Can Coding Agents Build the Agent You Actually Want?
소프트웨어 제작이 소프트웨어 자체의 손에 맡겨짐에 따라, 코딩 에이전트(coding agent)가 사용자의 자체 워크플로에 맞춤화된 에이전트를 구축하도록 위임받는 사례가 점차 늘어나고 있습니다. 이러한 위임에는 제공된 에이전트가 단지 그렇게 보이는 것에 그치지 않고, 구축 목적이었던 요구사항을 충실히 수행할 것이라는 암묵적인 가정이 깔려 있습니다. 그러나 기존의 어떤 벤치마크도 이 가정을 검증하지 않습니다. 본 논문에서는 자연어 요구사항으로부터 완전한 에이전트를 제작하는 생성(Creation), 프로덕션 에이전트 코드베이스의 수정(Editing), 측정 가능한 목표를 향한 최적화(Optimization)라는 에이전트 개발 수명 주기의 3단계를 아우르는 에이전트 소프트웨어 엔지니어링 벤치마크인 AgentSWE를 소개합니다. 25개의 각 태스크는 시험이라기보다는 의뢰의 형태로 구성됩니다. 즉, 빌더는 소수의 예시 케이스를 바탕으로 반복 개선하고, 인수 평가 단계에서는 엄격한 통과/실패 기준을 적용한 요구사항 기반 루브릭에 따라(최적화의 경우 원본 벤치마크 자체의 목표에 따라) 고정된 제출물을 전체 요구사항을 포괄하도록 설계된 홀드아웃(held-out) 케이스에서 실행하여 동작을 채점합니다. 다양한 모델과 하네스에 걸쳐 여러 코딩 에이전트를 평가한 결과, 요구사항이 요구하는 바를 제대로 제공하는 에이전트는 전무했습니다. 빌더가 시연하는 모습과 실제로 제공하는 결과물 사이의 격차는 예외적인 경우가 아니라 일반적인 현상이었습니다. 실패 궤적에 대한 실증적 분석을 통해 확인된 반복적인 실패 모드로는 가시적인 케이스에 대한 과적합, 완성된 것처럼 보이는 코드 이면의 빈껍데기 런타임, 근거 없는 완료 주장 등이 있었으며, 이는 코딩 에이전트가 요청받은 에이전트를 구축하는 방법을 학습할 수 있는 각각의 신호가 됩니다.
미실행 동반 실행을 고려한 예산 제약 컨텍스트 프로젝션 평가
Evaluating Budgeted Context Projection with Unexecuted Companion Runs
컨텍스트 프로젝션(context projection)은 개별 요청을 단축할 수 있지만, 에이전트가 예산 내에서 작업을 완료하는지 여부를 변화시킬 수 있습니다. 본 연구에서는 제한된 첫 번째 연속 실행으로 인해 동반 실행(companion run)이 수행되지 못할 때, 순차적 평가가 이러한 절충(trade-off) 관계를 어떻게 불분명하게 만드는지 조사합니다. 기록된 ReVerPi 소스 리딩 캠페인에서 두 개의 최종 답변을 가진 15개 쌍은 실험군(arm)당 역사적으로 채점된 12개의 성공을 산출했습니다. 27개의 모든 개입 경계를 보존함으로써 관찰된 실패를 10개의 미실행 동반 실행과 구별하고, 프로젝션 적용 대비 전체 컨텍스트 성공 차이를 $-9$에서 $+1$개 작업 사이로 제한(bound)합니다. 보관된 채점 계약 하에서 고정된 프로젝션 선택기는 전체 컨텍스트와의 성공 차이가 $[-3, 0]$이며, 4개의 적합 작업을 제외하면 23개 경계에 걸쳐 $[-4, -1]$입니다. 보존된 행위자 입력 증거로 플랫폼 전제가 입증되지 않은 한 작업을 제외하면 비적합 범위는 22개 경계에 걸쳐 $[-3, 0]$으로 변경되므로, 엄격한 열세는 해당 제외에 대해 강건하지 않습니다. 역사적으로 공동 성공을 거둔 11개 쌍 중에서 프로젝션은 총 논리적 토큰을 25% 적게 사용하지만, 중앙값 쌍에서는 더 많은 토큰을 사용하며 접미사 요청은 35개가 아닌 55개를 사용합니다. 이러한 회고적 결과는 적응형으로 구성된 단일 캠페인에 관한 것이며, 모집단 성능에 대한 것은 아닙니다. 본 사례 연구는 모든 경계를 보존하고, 알려지지 않은 결과와 정책 의존성을 유지하며, 작업 전제를 확인하고, 유계 완료(bounded completion)와 성공 조건부 자원 사용을 분리하는 회계(accounting) 방식의 필요성을 제시합니다.
Open-Endedness Bench: 에이전트 기록을 통한 인식론적 과정 측정
Open-Endedness Bench: Measuring Epistemic Process from Agent Records
에이전트(agent)는 직접 설계한 실험을 통해 경험적 법칙을 발견하거나, 아무도 최적해를 모르는 휴리스틱을 개선하거나, 기존 최고 기록을 갱신하는 것과 같은 개방형(open-ended) 연구 과제를 점점 더 많이 부여받고 있습니다. 이들의 실행 로그에는 이러한 연구의 모든 단계가 기록되지만, 실행 결과는 여전히 최종 결과 점수로만 평가됩니다. 그 점수만으로는 에이전트의 주장이 실행된 실험으로부터 도출된 것인지 입증할 수 없으며, 기준 정답이 존재하지 않을 수도 있습니다. 본 연구에서는 에이전트가 가설을 수립하고, 이를 검증하며, 증거에 따라 가설을 수정하는 방식인 인식론적 과정(epistemic process)을 평가합니다. 우리는 기준 정답이나 결과 점수를 전혀 참조하지 않고 에이전트의 실행 기록만을 읽는 벤치마크 불가지론적(benchmark-agnostic) 방법론인 OEB(Open-Endedness Bench)를 소개합니다. OEB는 기록을 통합된 인식론적 사건 그래프(epistemic event graph)로 컴파일하며, 이 그래프의 엣지는 에이전트가 진술한 명제와 이를 검증하는 실행된 행동을 연결합니다. 각 노드(node)는 코드를 통해 기록과 대조 검증되는 정확한 발췌문을 포함합니다. 평가에는 한 가지 원칙이 적용됩니다. 글로는 명제를 진술할 수 있지만, 실행된 행동이 반환한 증거만이 이를 뒷받침하거나 반박할 수 있으므로 OEB는 에이전트가 작성한 내용을 실제로 실행한 내용과 대조하여 확인합니다. 이 그래프로부터 OEB는 네 가지 역량 축(증거, 실험, 수정, 보상 해킹 방지)을 에이전트가 건전한 연구 기회를 활용한 비율을 중심으로 점수화하고, 에이전트의 연구 습관을 설명하는 여섯 가지 주관적 페르소나 특성을 프로파일링합니다. 우리는 세 가지 벤치마크(LLM 사후 학습(post-training), 칩 설계, 학습(training) 속도 기록)의 12개 과제에 걸쳐 기존 119개의 실행 기록을 평가했습니다. 기록된 결과와 비교했을 때 에이전트가 주장한 개선 사항 중 실제 개선된 것은 16~29%에 불과했습니다. 10개 과제 중 9개에서 최상의 실행 결과는 최악의 실행 결과보다 후반부에 더 많은 새로운 아이디어를 시도했습니다. 페르소나 측정치는 모델(model)을 따릅니다. 모든 특성에 대해 실행된 모델은 과제보다 실행 간 분산의 더 많은 부분을 설명했습니다(중앙값 기준 43% 대 7%).
에이전트 평가 신뢰성: 더 많은 태스크가 (항상) 에이전트 리더보드를 해결해 주지는 않는다
Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard
에이전트(agent) 평가는 대규모 언어 모델(LLM)을 비교하고 배포 결정을 내리는 데 점점 더 많이 사용되고 있지만, 순위는 모델뿐만 아니라 스캐폴드(scaffold)나 태스크와 같은 평가 조건의 영향도 반영할 수 있습니다. 이로 인해 신뢰성은 평가하려는 주장(claim)에 따라 달라집니다. 즉, 배포된 시스템의 순위를 안정적으로 매기는 평가가 그 기반이 되는 모델의 순위까지 안정적으로 매기지는 못할 수 있습니다. 본 연구에서는 현재의 에이전트 평가가 어떤 결론을 안정적으로 뒷받침하는지, 그리고 어떤 추가 평가가 이를 개선할 수 있는지 질문을 던집니다. 이를 위해 희소하고 불균형한 에이전트 리더보드를 위한 베이지안 분산 분해 프레임워크를 개발하고, 이를 Holistic Agent Leaderboard 및 Harbor Index의 22개 벤치마크에 적용합니다. 이 프레임워크는 의도한 주장과 관련된 성능 차이인 '신호'와 순위를 바꿀 수 있는 무관한 변동인 '노이즈'를 분리합니다. 연구 결과는 다음과 같습니다: (1) 신뢰성은 측정 목표에 따라 달라집니다. 고정된 모델-스캐폴드 시스템은 안정적으로 순위가 매겨지지만(0.935–0.994), 기반 모델의 신뢰성은 상당히 낮습니다(0.148–0.841). (2) 스캐폴드 선택이 결론을 바꿀 수 있습니다. 스캐폴드 간 신뢰성은 스캐폴드가 모델 순위를 보존하는지 여부를 측정하며, 스캐폴드 효과가 평가 전반에 걸쳐 크게 달라짐을 보여줍니다. (3) 더 많은 태스크가 모든 불확실성을 해결할 수는 없습니다. 제한된 스캐폴드 커버리지가 불확실성을 지배하는 경우, 유사하게 구성된 태스크를 무한히 많이 추가하더라도 벤치마크의 모델 순위 신뢰성은 기껏해야 0.097만 향상됩니다. (4) 다양한 벤치마크를 풀링(pooling)하면 더 적은 비용으로 교차 태스크 순위를 개선할 수 있습니다. 다양한 에이전트 태스크 전반의 순위 평가에서 벤치마크를 풀링하면 동일한 태스크 예산에서 예상 신뢰성이 0.44에서 0.75로 상승하며, 예상 비용을 최대 83%까지 줄일 수 있습니다. 평가 설계는 의도한 주장을 따라야 합니다. 즉, 점수나 순위가 무엇을 의미해야 하는지 식별하고, 신뢰성을 제한하는 요인을 진단하며, 중요한 불확실성의 원인에 평가 예산을 투입해야 합니다.
Kepler: ARC-AGI-3를 위한 감사 가능한 월드 모델
Kepler: Auditable World Models for ARC-AGI-3
ARC-AGI-3는 관찰을 통해 규칙과 목표를 추론해야 하는 상호작용 환경(environment)에서 에이전트(agent)를 평가합니다. 본 논문에서는 가설을 실행 가능한 월드 모델(world model)로 표현하고, 소급적 전이 검증과 조건부 예측 검증을 통해 이를 검증하는 오픈소스 하네스인 Kepler를 제시합니다. 단일 고정 Claude Opus 5 설정 하에서, Kepler는 게임별 모델(model) 선택이나 점수 조건부 재실행 없이 25개 공개 게임 전체에서 서버 검증 100.00 RHAE를 달성했습니다. 완료된 183개 레벨 중 181개에서 최종 Opus 시도는 해당 인간 중앙값 기준선(baseline)보다 더 많은 행동을 사용하지 않았습니다. 보존된 보드 실행에는 8,256회의 환경 행동이 사용되었으며, 이 중 7,292회는 점수가 매겨지는 레벨에서 발생했습니다. 보존된 로컬 제공자 세션 기록 기준으로 8억 5,800만 토큰(token), 97.37%의 캐시 읽기, 2026년 9월 1일 API 정가 기준 777.72달러의 비용이 소요되었습니다. 또한 세 가지 평가 실패 사례를 보고합니다: 유효하지 않은 완벽한 실행을 초래한 소스 코드 유출, 대조 조건에서 에이전트가 제거된 하네스를 재구축한 사례, 그리고 자율 복구가 고장 난 플래너를 은폐한 사례입니다. 단일 게임 관찰 사례 연구에 따르면, 애니메이션 프레임에는 안정화된 텍스트 그리드에는 없는 작업 관련 정보가 포함되어 있었습니다. 최종 Claude Opus 5 및 GPT-5.6 Sol 보드 전체에서 50개 게임-모델 셀 중 48개가 100에 도달했습니다. 이러한 결과는 공개 세트 점수만으로는 변별력이 제한적임을 나타내며, 첫 시도, 비용 조건부 및 검증 인식 보고의 필요성을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to NeurIPS 2026 (Main)