PlanBench-XL: 대규모 도구 생태계에서 LLM 도구 사용 에이전트의 장기간 계획 평가
PlanBench-XL: Evaluating Long-Horizon Planning of LLM Tool-Use Agents in Large-Scale Tool Ecosystems
한국어 초록
LLM 에이전트는 점점 더 대규모 도구 생태계에서 동작하며, 실제 세계 과제는 관련 도구를 발견하고, 암묵적 하위 목표를 추론하며, 장기간에 걸쳐 동적 환경에 적응하는 것을 요구한다. 그러나 기존 벤치마크는 검색이 제한된 도구 가시성 하에서의 계획을 거의 평가하지 않는다. 이 공백을 해소하기 위해, 우리는 PlanBench-XL을 제안한다. 이는 1,665개 도구 위 327개 소매 과제로 구성된 대화형 벤치마크로, 에이전트가 사용 가능한 도구를 반복적으로 검색하고, 이를 호출하여 최종 목표를 향한 후속 호출을 위한 중간 증거를 밝혀낼 수 있는지를 검증한다. PlanBench-XL은 또한 선택적 차단(blocking) 메커니즘을 제공하며, 누락되거나 실패하거나 방해가 되는 도구 함수를 통해 실제 세계의 예측 불가능성을 시뮬레이션하여, 에이전트가 중단된 경로를 감지하고 실행 시점(runtime)에 적응하도록 한다. 10개의 선도적 LLM에 대한 실험은 대규모 도구 계획이 여전히 어렵다는 것을 보여준다. GPT-5.4는 차단 없는 설정에서 51.90% 정확도를 달성하는 반면, 가장 심각한 차단 조건에서는 11.36%로 급락한다. 추가 분석은 에이전트가 실패에 명시적 오류 신호가 없거나, 복구에 더 긴 대안적 도구 사용 경로가 필요할 때 특히 취약함을 보여준다. 이 결과는 PlanBench-XL을 에이전틱(agentic) 계획 실패를 진단하는 테스트베드로 확립하며, 크고 불완전한 도구 환경에서의 장기간 과제에 견고한 적응형 계획의 필요성을 강조한다.
원문 초록
LLM agents increasingly operate in large tool ecosystems, where real-world tasks require discovering relevant tools, inferring implicit sub-goals, and adapting to dynamic environments over long horizons. However, existing benchmarks rarely evaluate planning under retrieval-limited tool visibility. To address this gap, we introduce PlanBench-XL, an interactive benchmark of 327 retail tasks over 1,665 tools that tests whether agents can iteratively retrieve usable tools, invoke them to uncover intermediate evidence for subsequent calls toward the final goal. PlanBench-XL further features an optional blocking mechanism that simulates real-world unpredictability through missing, failing, or distracting tool functions, forcing agents to detect disrupted paths and adapt at runtime. Experiments on ten leading LLMs show that massive-tool planning remains challenging: while GPT-5.4 achieves 51.90% accuracy in block-free settings, it collapses to 11.36% under the most severe blocking condition. Further analysis shows that agents are especially vulnerable when failures lack explicit error signals or when recovery requires longer alternative tool-use paths. These results establish PlanBench-XL as a testbed for diagnosing agentic planning failures and highlight the need for robust adaptive planning in long-horizon tasks with large, imperfect tool environments.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.22388v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합
OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.
제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가
Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate
어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.
Google Earth AI 지리공간 추론(Geospatial Reasoning) 에이전트: 역량과 체계적 평가
Google Earth AI Geospatial Reasoning Agent: Capabilities and a Systematic Evaluation
Google Earth AI는 지리공간(geospatial) AI 모델들의 패밀리와 이를 오케스트레이션하는 에이전트로 구성된다. 본 논문에서는 이 에이전트인 Google Earth AI의 Geospatial Reasoning 에이전트(GRA)를 소개한다. GRA는 Gemini 기반의 연구 시스템으로, 지리공간 데이터 소스, 파운데이션 모델, 그리고 도구들을 결합하여 우리 지구에 관한 질문에 답한다. GRA는 이러한 요소들을 모듈화된 도메인 스킬로 구성하고, 사전(upfront) 지리공간 계획과 결합하여 복잡한 질의를 다단계 워크플로우로 분해한다. 이러한 시스템을 평가하는 것은 어려운데, 실제 문제는 여러 타당한 워크플로우를 허용하고, 대규모 카탈로그 전반에 걸친 데이터 발견(data discovery)을 요구하며, 계속 변화하는 그라운드 트루스(ground truth)에 의존하기 때문이다. 우리는 두 가지 벤치마크를 도입하고 이들의 개발 분할(development split)을 공개한다. GeoExpertQueries는 실무자의 사용 사례(use case)에 기반하고 지리공간 전문가들에 의해 정제된 복잡한 분석 문제들을 제시한다. 각 문제는 세 명의 독립적인 전문가로부터 얻은 합의된 골든 워크플로우(golden workflow)와 짝을 이루며, 사람이 검증한 도구에 무관한(tool-agnostic) 오토레이터(autorater)에 의해 채점된다. GeoKTools는 필요한 도구 유형의 수를 체계적으로 변화시키는 결정론적(deterministic) 참조 솔버(reference solver)를 갖춘 템플릿화된 질의들로 구성된다. 우리는 또한 CBGB와 UnivEARTH라는 두 가지 외부 벤치마크를 사용하는데, 이 중 UnivEARTH는 포화(saturated) 상태임을 확인하였다. GRA의 도구와 에이전트적(agentic) 오케스트레이션의 기여를 분리하기 위해, 우리는 Gemini 3.1 Pro와 3.8 Flash 각각에 대해 네 가지 구성을 비교한다: 단독 LLM, 기본 도구를 갖춘 LLM, GRA의 스킬과 도구는 갖추었지만 사전 계획 및 실행 가이드는 없는 LLM, 그리고 GRA 자체이다. 기본 도구만 있는 경우, 고성능 모델은 템플릿화된 질의에서는 정답의 많은 부분을 복원하지만, 개방형(open-ended) 문제에서는 전문가 워크플로우의 작은 일부만을 충족시킨다. 반면 GRA는 두 경우 모두에서 우수한 성능을 보인다. 가장 큰 성능 향상은 GRA의 스킬과 도구로부터 나오며, 개방형 문제에서는 그 계획 및 실행 가이드가 Gemini 3.8 Flash와 결합될 때 추가적인 향상을 가져와, Flash가 더 낮은 비용으로 Pro와 동등하거나 이를 능가하는 성능을 내도록 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.