arXiv:2611.22017v1 cs.AI

SkillBuffBench: 실행 환경, 모델, 스킬 접근 방식, 메모리에 따른 에이전트 스킬의 기여도 측정

SkillBuffBench: Measuring What Agent Skills Contribute across Harnesses, Models, Skill Access Modes and Memory

Gengyue Dong, Ye Wei, Zheng Zhu, Yidong Han, Jiale Miao, Xiaojun Jia, Guanghui Li

제출 2026-11-18

한국어 초록

에이전트 스킬은 코딩 에이전트가 필요할 때 찾아 불러올 수 있는 절차적 지식의 파일 묶음이다. 주요 에이전트 실행 환경은 모두 스킬을 지원하지만, 스킬의 효과를 뒷받침하는 증거는 거의 전부 과제에 맞는 스킬을 사람이 골라 주고 에이전트가 이전 정보 없이 시작하는 상황에서 얻었다. 실제 배포 환경에서는 에이전트가 설치된 라이브러리에서 스킬을 고르며 이전 작업의 메모리도 유지하는 경우가 많다. SkillBuffBench는 스킬 접근을 세 수준으로 나누는 벤치마크와 짝지은 평가 절차다. 스킬을 쓰지 않는 경우, 선별한 스킬을 제공하는 경우, 설치된 라이브러리에서 자동으로 호출하는 경우를 비교한다. 각 수준에 메모리 사용 여부, 에이전트 실행 환경 네 가지, 여러 모델을 교차 적용하며, 모든 모델을 모든 실행 환경에서 구동한다. 모델에는 Anthropic, Google, OpenAI의 최신 비공개 모델과 중국 공급자의 최신 공개 가중치 모델이 포함된다. 분야 전문가가 제공한 연구 과제와 해당 분야에서 사용하는 스킬로 평가하며, 현재는 재료과학과 생물학을 다루고 과제 모음을 계속 확장한다. 결정론적 검증기가 모든 실행을 채점하고, 과제 단위로 짝지은 부트스트랩으로 불확실성을 보고한다. 비용, 에이전트 라운드 수, 실제 경과 시간은 점수와 함께 별도로 보고한다. 이 버전에서는 벤치마크 설계, 평가 절차, 현재의 과제와 스킬을 설명한다. 평가는 진행 중이며, 실행을 마치면 결과를 추가하고 과제 모음과 결과 및 분석을 계속 갱신할 예정이다.

원문 초록

Agent Skills, file-based packages of procedural knowledge that a coding agent can discover and load on demand, are now shipped by every major agent harness, yet the evidence for how much they help comes almost entirely from settings in which the right Skill is hand-picked for the task and the agent starts from a blank slate. Neither holds in deployment, where an agent chooses from whatever library happens to be installed and frequently carries memory from earlier work. We present SkillBuffBench, a benchmark and paired evaluation protocol that treats Skill access as a three-level factor (no Skill, a curated Skill, and automatic invocation from an installed library), crosses it with memory (off and on), with four agent harnesses and with multiple models (the state-of-the-art proprietary models from Anthropic, Google and OpenAI, and the state-of-the-art open-weight models from Chinese providers), every model being run under every harness, and evaluates the result on research tasks contributed by domain experts together with the Skills they use, currently in materials science and biology, with the suite extended on a rolling basis. Every run is marked by a deterministic verifier; uncertainty is reported with a paired, task-level bootstrap; and cost, agent rounds and wall-clock time are reported alongside the score rather than folded into it. This version of the paper describes the design of the benchmark, its evaluation protocol and its current tasks and Skills. The evaluation is in progress: results will be added once the runs are complete, and the task suite, results and analysis will continue to be updated on a rolling basis.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22017v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.