arXiv:2608.24509v1 cs.AI

PeakBench: LLM 에이전트의 자원 인식 도구 호출 벤치마킹

PeakBench: Benchmarking Resource-Aware Tool Invocation in LLM Agents

Zhi-Kai Chen, Xu-Xiang Zhong, Song-Yan Li, De-Chuan Zhan, Han-Jia Ye

제출 2026-08-25

한국어 초록

대규모 언어 모델(LLM) 에이전트(agent)는 여러 도구를 호출하여 작업을 해결하는 경우가 점점 늘고 있으며, 여기서 병렬 실행은 낮은 지연 시간을 위해 필수적이지만 안전하게 관리하기는 어렵습니다. 기존 에이전트 벤치마크는 주로 직렬 실행 환경에서 도구 선택, 인자 생성, 엔드투엔드(end-to-end) 성공 여부를 평가하며, 유효한 병렬화와 자원 제약 스케줄링은 크게 간과하고 있습니다. 이러한 스케줄링 측면의 부재는 실질적인 실패 양상을 야기합니다. 즉, 직렬 실행은 안전하지만 느린 반면, 자원을 고려하지 않는 병렬 실행은 빠르지만 피할 수 있는 자원 초과를 유발하기 쉽습니다. 이러한 한계를 해결하기 위해, 우리는 실행 기반 의존성 주석과 측정된 자원 프로필을 포함하는 실행 가능한 멀티 도구 워크플로 벤치마크인 PeakBench를 소개합니다. 이러한 워크플로를 평가할 때 핵심적인 과제는 귀인(attribution)입니다. 실패와 비효율성은 잘못된 의존성 계획, 부실한 자원 제약 스케줄링, 또는 두 가지 모두에서 발생할 수 있습니다. PeakBench는 논리적 계획과 물리적 스케줄링을 분리하고 각 차원에 맞는 전용 지표를 제공하는 2단계 평가 프레임워크를 통해 이 문제를 해결합니다. 이 프레임워크를 사용하여, 우리는 강력한 논리적 계획 능력이 자원 제약 환경에서 안전하거나 효율적인 실행으로 안정적으로 이어지지 않음을 보여줍니다. 나아가 자원 정보를 노출하면 피할 수 있는 초과 문제를 줄이고 자원 활용도를 높일 수 있음을 보임으로써, PeakBench가 자원 인식 에이전트 동작을 진단하는 유용한 테스트베드임을 보여줍니다. 코드는 https://github.com/Czzzk/Staggering-the-Peaks 에서 확인할 수 있습니다.

원문 초록

LLM agents increasingly solve tasks by invoking multiple tools, where parallel execution is essential for low latency but difficult to manage safely. Existing agent benchmarks primarily evaluate tool selection, argument generation, and end-to-end success under mostly serial execution, largely overlooking valid parallelization and resource-constrained scheduling. This missing scheduling dimension creates a practical failure mode: serial execution is safe but slow, while resource-agnostic parallel execution is fast but prone to avoidable resource overflows. To address this gap, we introduce PeakBench, a benchmark of executable multi-tool workflows with execution-grounded dependency annotations and measured resource profiles. A central challenge in evaluating such workflows is attribution: failures and inefficiencies may arise from incorrect dependency planning, poor resource-constrained scheduling, or both. PeakBench addresses this challenge with a two-part evaluation framework that disentangles logical planning from physical scheduling, with dedicated metrics for each dimension. Using this framework, we show that strong logical planning does not reliably translate into safe or efficient execution under resource constraints. We further show that exposing resource information can reduce avoidable overflows and improve resource utilization, making PeakBench a useful testbed for diagnosing resource-aware agent behavior. Code is available at https://github.com/Czzzk/Staggering-the-Peaks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.24509v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.