에이전트는 모델이 아닌 시스템이다: 에이전트 평가에 대한 재고
Agents Are Systems, Not Models: Rethinking Agentic Evaluation
한국어 초록
에이전트(agent) 평가는 단순한 성공률을 넘어 비용, 일관성, 견고성과 같은 지표를 보고하는 방향으로 점차 나아가고 있습니다. 그러나 이러한 평가는 대개 에이전트 자체를 고정된 것으로 취급합니다. 실제로 에이전트는 구성 가능한 시스템입니다. 사용자는 에이전트에게 무엇을 전달할지, 얼마나 오래 실행할지, 어떤 모델을 사용할지를 결정하며, 이러한 각 선택은 성능의 수준과 일관성을 변화시킬 수 있습니다. 본 연구에서는 코딩 에이전트가 공개된 전문 모델을 찾아 올바르게 작동해야 하는 네 가지 과학적 작업으로 구성된 새로운 벤치마크를 통해 이러한 선택들을 조사합니다. 구체적으로 작업 정보, 추론, 자체 검증, 시간 예산, 백본 모델이라는 에이전트 구성의 다섯 가지 요소를 탐구합니다. 연구 결과 실행 간 상당한 변동성이 발견되었으며, 결과 분산의 약 54%는 구성을 변경해서가 아니라 동일한 구성을 반복 실행하는 데서 발생했습니다. 여러 구성 전반에 걸쳐 에이전트에 제공된 정보가 시간 예산과 모델 크기를 모두 능가하며 가장 큰 영향을 미쳤고, 동시에 비용을 줄이고 캘리브레이션(calibration)을 개선했습니다. 또한 구성 선택들은 서로 상호작용합니다. 추가적인 시간은 에이전트에게 충분한 정보가 있거나 이를 활용할 만큼 유능한 모델이 있을 때만 도움이 됩니다. 마지막으로, 에이전트 행동에 대한 궤적 기반 분류체계에 따르면 에이전트에게 답변을 검증하도록 프롬프트를 제공하는 것은 검증 행동에 거의 영향을 미치지 않는 반면, 전용 검증 도구를 제공하는 것은 해당 행동을 크게 변화시키는 것으로 나타났습니다. 이러한 결과는 에이전트 자체를 구성 가능한 시스템으로 평가해야 하며, 원하는 특정 행동은 프롬프트를 통해 요구하기보다 시스템 내에서 구현하는 것이 더 효과적임을 시사합니다. 본 연구는 벤치마크와 18,000개 이상의 에이전트 궤적을 공개합니다.
원문 초록
Agent evaluations increasingly go beyond a single success rate, reporting metrics such as cost, consistency, and robustness. Yet they typically treat the agent itself as fixed. In practice, an agent is a configurable system: users decide what to tell it, how long to let it run, and which model to use, and each of these choices can change how well and how consistently it performs. We study these choices on a new benchmark of four scientific tasks, where a coding agent must find and correctly operate a published specialist model. We investigate five parts of the agent's configuration: task information, reasoning, self-verification, time budget, and backbone model. We find substantial run-to-run variability, with approximately 54% of the outcome variance coming from repeating the same configuration rather than changing it. Across configurations, the information provided to the agent has the largest effect, exceeding both time budget and model size, while also reducing cost and improving calibration. Configuration choices also interact: additional time helps only when the agent has sufficient information or a capable enough model to use it. Finally, a trajectory-based taxonomy of agent behavior reveals that prompting an agent to verify its answer has little effect on its verification behavior, whereas providing a dedicated verification tool changes that behavior substantially. These results suggest that agents should be evaluated as configurable systems themselves, and that some desired behaviors are more effectively implemented in the system than requested through prompting. We release the benchmark and more than 18,000 agent trajectories.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AgentSWE: 코딩 에이전트는 사용자가 실제로 원하는 에이전트를 구축할 수 있는가?
AgentSWE: Can Coding Agents Build the Agent You Actually Want?
소프트웨어 제작이 소프트웨어 자체의 손에 맡겨짐에 따라, 코딩 에이전트(coding agent)가 사용자의 자체 워크플로에 맞춤화된 에이전트를 구축하도록 위임받는 사례가 점차 늘어나고 있습니다. 이러한 위임에는 제공된 에이전트가 단지 그렇게 보이는 것에 그치지 않고, 구축 목적이었던 요구사항을 충실히 수행할 것이라는 암묵적인 가정이 깔려 있습니다. 그러나 기존의 어떤 벤치마크도 이 가정을 검증하지 않습니다. 본 논문에서는 자연어 요구사항으로부터 완전한 에이전트를 제작하는 생성(Creation), 프로덕션 에이전트 코드베이스의 수정(Editing), 측정 가능한 목표를 향한 최적화(Optimization)라는 에이전트 개발 수명 주기의 3단계를 아우르는 에이전트 소프트웨어 엔지니어링 벤치마크인 AgentSWE를 소개합니다. 25개의 각 태스크는 시험이라기보다는 의뢰의 형태로 구성됩니다. 즉, 빌더는 소수의 예시 케이스를 바탕으로 반복 개선하고, 인수 평가 단계에서는 엄격한 통과/실패 기준을 적용한 요구사항 기반 루브릭에 따라(최적화의 경우 원본 벤치마크 자체의 목표에 따라) 고정된 제출물을 전체 요구사항을 포괄하도록 설계된 홀드아웃(held-out) 케이스에서 실행하여 동작을 채점합니다. 다양한 모델과 하네스에 걸쳐 여러 코딩 에이전트를 평가한 결과, 요구사항이 요구하는 바를 제대로 제공하는 에이전트는 전무했습니다. 빌더가 시연하는 모습과 실제로 제공하는 결과물 사이의 격차는 예외적인 경우가 아니라 일반적인 현상이었습니다. 실패 궤적에 대한 실증적 분석을 통해 확인된 반복적인 실패 모드로는 가시적인 케이스에 대한 과적합, 완성된 것처럼 보이는 코드 이면의 빈껍데기 런타임, 근거 없는 완료 주장 등이 있었으며, 이는 코딩 에이전트가 요청받은 에이전트를 구축하는 방법을 학습할 수 있는 각각의 신호가 됩니다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
MedHarnessBench: 헬스케어 에이전트(Agent) 평가를 위한 통합 벤치마크
MedHarnessBench: A Unified Benchmark for Healthcare Agent Evaluation
헬스케어 에이전트(agent)는 이질적인 도구와 상태를 유지하는 워크플로우를 통해 종단적인(longitudinal) 임상 증거를 신뢰할 수 있는 행동으로 변환해야 하며, 이러한 조건에서 모델 중심 시스템은 컨텍스트를 잃거나, 도구를 오용하거나, 중대한 상태 전환을 검증하지 못하거나, 권한 경계를 침범할 수 있다. 기존의 의료 에이전트 벤치마크는 주로 최종 작업 결과(terminal task outcome)를 강조하기 때문에, 실행 실패가 에이전트 모델, 런타임 하네스(harness), 혹은 이들의 상호작용 중 어디에서 발생하는지 판단하기 어렵다. 우리는 결과를 보존하면서 일곱 가지 헬스케어 특화 프로세스 차원—진료 조치 이행(Care Action Fulfillment), 임상 자원 활용 능력(Clinical Resource Competence), 환자-증거 정합성(Patient-Evidence Alignment), 임상 워크플로우 연속성(Clinical Workflow Continuity), 임상 감사 가능성(Clinical Auditability), 폐루프 검증(Closed-Loop Verification), 임상 행위 경계(Clinical Conduct Boundaries)—을 독립적으로 평가하는 프레임워크인 Medical Harness Protocol을 제시한다. 또한 정규화된 개입 추적(normalized intervention trace)은 런타임 지원이 제공 가능한지(available), 활성화되었는지(activated), 전달되었는지(delivered), 에이전트에 의해 채택되었는지(adopted), 그리고 이후 행동에 전파되었는지(propagated)를 추적한다. 우리는 이 프로토콜을 FHIR/EHR 연산, 헬스케어 행정 인터페이스, 멀티모달 임상 도구 전반에 걸친 342개의 실행 가능한 작업으로 구성된 MedHarnessBench로 구체화한다. 16,000회 이상의 통제된 작업 실행에서 MedHarness는 최종 작업 성공률, 중간 하위 작업 완료율, 헬스케어 특화 프로세스 품질 전반에서 폭넓은 개선을 보인다. 또한 우리는 MedHarness를 여러 범용 하네스(harness)와 비교 평가하고, 통제된 단일 결함 교란(single-fault perturbation)을 사용하여 일곱 차원 평가의 민감도와 구분력을 검증한다. 이러한 결과는 헬스케어 특화 런타임 지원이 작업 완료율과 실행 품질을 모두 상당히 개선할 수 있음을 보여주는 동시에, 최종 결과만으로는 포착할 수 없는 실패를 드러낸다. 코드와 자료는 https://github.com/Tomry1114/Awesome-Agent-Harness-for-Healthcare 에서 확인할 수 있다.
ProgramGym: 장기 프로그램 재현 에이전트를 위한 학습 환경 확장
ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents
코딩 에이전트(coding agent)는 저장소 내의 이슈를 해결하거나 주어진 요구사항 명세서로부터 저장소를 생성하는 것을 넘어, 소프트웨어 엔지니어처럼 처음부터(from scratch) 프로그램을 구축하는 데 점점 더 많이 활용되고 있습니다. 그러나 에이전트가 필요한 요구사항을 직접 파악하고 시스템 설계 방식을 결정하도록 강제하는, 확장 가능하고 검증 가능한 학습(training) 환경은 여전히 부족합니다. 또한 기존 에이전트 워크플로는 구현 전에 참조 프로그램을 탐색하는 장기(long-horizon) 개발 과정을 지속하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 장기 프로그램 재현 에이전트를 위한 확장 가능한 학습 환경 프레임워크이자 Program-Env 및 Program-Agent로 구성된 ProgramGym을 소개합니다. 구체적으로 Program-Env는 런타임 샌드박스 빌드와 블랙박스 테스트 품질을 복구하는 피드백 기반 루프를 통해 저장소로부터 검증 가능한 학습 환경을 구축합니다. 이 새로운 파이프라인을 활용하여 C, C++, Go, Rust에 걸친 1,648개의 학습 환경을 확보했습니다. Program-Agent는 컴파일 검사 및 실패 복구를 위한 리비전 관리와 함께 분석, 구현, 검토의 역할 분리 워크플로를 결합합니다. ProgramBench 실험 결과는 Program-Env와 Program-Agent 모두 프로그램 재현 성능을 향상시킴을 보여줍니다. 이렇게 구축된 환경에서 얻은 궤적으로 미세조정(fine-tuning)을 수행하면 Qwen3.8-27B의 성능이 34.87%에서 42.84%로 향상됩니다. Program-Agent는 베이스 및 SFT 모델의 성능을 각각 55.71%와 56.25%까지 추가로 향상시키며, 두 모델 모두 일부 플래그십 모델을 능가합니다. 처음부터 프로그램을 구축하는 코딩 에이전트에 대한 후속 연구를 지원하기 위해 ProgramGym을 공개할 예정입니다.
APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가
APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces
전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.
미실행 동반 실행을 고려한 예산 제약 컨텍스트 프로젝션 평가
Evaluating Budgeted Context Projection with Unexecuted Companion Runs
컨텍스트 프로젝션(context projection)은 개별 요청을 단축할 수 있지만, 에이전트가 예산 내에서 작업을 완료하는지 여부를 변화시킬 수 있습니다. 본 연구에서는 제한된 첫 번째 연속 실행으로 인해 동반 실행(companion run)이 수행되지 못할 때, 순차적 평가가 이러한 절충(trade-off) 관계를 어떻게 불분명하게 만드는지 조사합니다. 기록된 ReVerPi 소스 리딩 캠페인에서 두 개의 최종 답변을 가진 15개 쌍은 실험군(arm)당 역사적으로 채점된 12개의 성공을 산출했습니다. 27개의 모든 개입 경계를 보존함으로써 관찰된 실패를 10개의 미실행 동반 실행과 구별하고, 프로젝션 적용 대비 전체 컨텍스트 성공 차이를 $-9$에서 $+1$개 작업 사이로 제한(bound)합니다. 보관된 채점 계약 하에서 고정된 프로젝션 선택기는 전체 컨텍스트와의 성공 차이가 $[-3, 0]$이며, 4개의 적합 작업을 제외하면 23개 경계에 걸쳐 $[-4, -1]$입니다. 보존된 행위자 입력 증거로 플랫폼 전제가 입증되지 않은 한 작업을 제외하면 비적합 범위는 22개 경계에 걸쳐 $[-3, 0]$으로 변경되므로, 엄격한 열세는 해당 제외에 대해 강건하지 않습니다. 역사적으로 공동 성공을 거둔 11개 쌍 중에서 프로젝션은 총 논리적 토큰을 25% 적게 사용하지만, 중앙값 쌍에서는 더 많은 토큰을 사용하며 접미사 요청은 35개가 아닌 55개를 사용합니다. 이러한 회고적 결과는 적응형으로 구성된 단일 캠페인에 관한 것이며, 모집단 성능에 대한 것은 아닙니다. 본 사례 연구는 모든 경계를 보존하고, 알려지지 않은 결과와 정책 의존성을 유지하며, 작업 전제를 확인하고, 유계 완료(bounded completion)와 성공 조건부 자원 사용을 분리하는 회계(accounting) 방식의 필요성을 제시합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.