arXiv:2605.00737v2 cs.AI

호출할 것인가 말 것인가: LLM 툴 호출을 평가하고 최적화하는 프레임워크

To Call or Not to Call: A Framework to Assess and Optimize LLM Tool Calling

Qinyuan Wu, Soumi Das, Mahsa Amani, Arijit Nag, Seungeon Lee, Krishna P. Gummadi, Abhilasha Ravichander, Muhammad Bilal Zafar

제출 2026-05-01

한국어 초록

에이전트형 AI(Agentic AI) 아키텍처는 대규모 언어 모델(LLM)에 외부 툴을 추가하여 강력한 기능을 발휘하게 합니다. 그러나 툴 사용이 항상 이로운 것은 아니며, 일부 호출은 중복되거나 심지어 해로울 수 있습니다. 따라서 효과적인 툴 사용은 작업을 수행할 때 툴을 호출할지 여부를 결정하는 핵심적인 LLM의 결정에 달려 있습니다. 이 결정은 웹 검색 툴의 경우 특히 어렵습니다. 외부 정보의 이점이 모델의 내부 지식과 잠재적으로 잡음이 섞인 툴 응답을 통합하는 능력에 의존하기 때문입니다. 우리는 의사결정 이론에서 영감을 받은 원칙적인 프레임워크를 소개하여, 필연성, 유용성, 그리고 비용 효율성이라는 세 가지 핵심 요소를 통해 웹 검색 툴 사용 결정을 평가합니다. 우리의 분석은 두 가지 상호 보완적인 관점을 결합합니다. 하나는 툴 호출의 최적 할당으로부터 실제 필요와 유용성을 추론하는 규범적 관점이고, 다른 하나는 관찰된 행동으로부터 모델의 자체 인식된 필요와 유용성을 추론하는 기술적 관점입니다. 우리는 4개의 웹 검색 툴과 3개의 작업에 걸쳐, 현재 턴과 검색 결과만을 조건으로 하는 하니스와 전체 실행 추적을 조건으로 하는 하니스라는 두 가지 하니스 하에서 6개의 오픈 소스와 1개의 폐쇄형 소스 최첨단 모델을 평가했습니다. 모든 설정에서 우리는 모델이 인식하는 필요와 유용성이 실제 필요와 유용성과 빈번하게 정렬되지 않음을 발견했습니다. 이 프레임워크를 기반으로 우리는 모델의 은닉 상태로부터 필요와 유용성을 추정하는 가벼운 추정기를 학습시킵니다. 이러한 추정기는 결정 품질을 향상시키고 대부분의 오픈 소스 모델에 대해 자체 인식 기준선보다 더 강력한 작업 성능을 내는 간단한 컨트롤러를 구동합니다.

원문 초록

Agentic AI architectures augment LLMs with external tools, unlocking strong capabilities. However, tool use is not always beneficial; some calls may be redundant or even harmful. Effective tool use, therefore, hinges on a core LLM decision: whether to call or not call a tool when performing a task. This decision is particularly challenging for web search tools, where the benefits of external information depend on the model's internal knowledge and its ability to integrate potentially noisy tool responses. We introduce a principled framework inspired by decision-making theory to evaluate web search tool-use decisions along three key factors: necessity, utility, and affordability. Our analysis combines two complementary lenses: a normative perspective that infers true need and utility from an optimal allocation of tool calls, and a descriptive perspective that infers the model's self-perceived need and utility from their observed behaviors. We evaluate six open and one closed-source frontier models under two harnesses, one conditioning on only the current turn and its search results, the other on the full execution traces, across four web-search tools and three tasks. In every setting, we find that a model's perceived need and utility are frequently misaligned with the true need and utility. Building on this framework, we train lightweight estimators of need and utility from the models' hidden states. These estimators drive simple controllers that improve decision quality and yield stronger task performance than the self-perceived baseline for most of the open-source models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.00737v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27770v1cs.CL공통 태그 Decision Making, Information Retrieval

필터링을 통한 LLM 기반 자율 웹 에이전트 성능 향상

Improving LLM-based Autonomous Web Agents with Filtering

대규모 언어 모델(LLM) 기반의 자율 웹 에이전트는 다단계 추론 및 의사결정 능력을 바탕으로 다양한 웹 기반 작업을 자동화하여 상당한 주목을 받아왔다. 이러한 에이전트 개발에서 미해결 연구 과제 중 하나는 웹페이지 입력의 형식이다. 방대하고 종종 무관한 세부 정보를 포함하는 원시 HTML 소스 코드는 제한된 컨텍스트 윈도우(context window)를 가진 LLM에 어려움을 초래한다. 이러한 문제를 해결하기 위해, 본 연구에서는 먼저 WebArena (Zhou et al., 2023) 벤치마크에서 GPT-3.5 및 LLaMA-2-70B와 같은 기준선(baseline) 모델들을 재현하여 공통적인 실패 양상을 식별한다. 그런 다음 LLM 에이전트를 위해 무관한 문맥을 걸러내는 두 가지 검색 전략을 제안한다. 작업과의 관련성에 따라 HTML 요소들의 순위를 매기는 DeBERTa 기반 및 T5 기반 모델을 개발한다. 이들을 Mind2Web 궤적 데이터에서 파인튜닝(fine-tuning)한 후 WebArena로 전이한다. 실험 결과, DeBERTa 기반 모델은 WebArena에서 LLaMA-2-70B LLM 에이전트의 성공률을 1.97%에서 2.96%로 향상시키는 것으로 나타났다. 나아가, Mind2Web에서 0.52, WebArena에서 0.47의 재현율(recall)로 정답 요소를 검색할 수 있는 제로샷(zero-shot) ColBERT 기반 리트리버를 개발한다.

arXiv:2609.28416v1cs.CL공통 태그 Decision Making, Information Retrieval

Agent-Editing World Model: LLM 에이전트를 위한 월드 모델링 재고

Agent-Editing World Model: Rethinking World Modeling for LLM Agents

대규모 언어 모델(LLM)의 최근 발전으로 에이전트가 다양한 환경에서 장기(long-horizon) 과제를 수행할 수 있게 되었다. 에이전트 성능을 더 높이기 위해 기존 언어 월드 모델은 주로 환경 관측을 예측하지만, 실제 피드백을 사용할 수 있을 때 고엔트로피·실행 의존적 도구 응답을 재구성하는 것은 제한된 가치만 제공한다. 한편 에이전트는 \emph{과제 상태 오염(task-state contamination)}에 시달리는데, 근거 없는 가정과 낡은 계획이 이력에 남아 이후 결정을 왜곡한다. 우리는 도구 응답을 시뮬레이션하기보다 추론과 행동이 미래 과제 진행을 어떻게 형성하는지를 모델링하는 \textbf{Agent-Editing World Model (AEWM)}을 제안한다. AEWM은 \textsc{Critical}, \textsc{Exploratory}, \textsc{Noisy} 결정을 구분하는 \textbf{Action Judge}와 동일한 관측 이력에서 noisy한 추론–행동 연속을 편집하는 \textbf{State Revision}을 결합한다. \textbf{EditAct}는 이러한 기능을 실제 실행과 통합하여, 단순히 비평만 제공하는 대신 이후 결정의 기반이 되는 상태를 직접 변경한다. 우리는 중간 학습(mid-training)과 지도 미세조정을 통해 Search, Terminal, Software Engineering 영역에서 AEWM을 학습한다. AEWM은 Action Judge 벤치마크에서 70.5\% macro-F1을 달성하여, 가장 강한 프론티어 기준선보다 10.6점 높다. 여섯 벤치마크와 세 에이전트 백본에서 EditAct는 가장 강한 기준선 대비 평균 점수를 3.2–6.7점 향상시킨다. 또한 검증된 EditAct 궤적에 대한 거부 샘플링 미세조정(\textbf{AEWM-RFT})은 온라인 AEWM 가이던스 없이 세 도메인에서 Self-RFT 대비 2.2–2.6점 향상된다.

arXiv:2609.28003v1cs.LG공통 태그 Decision Making, Information Retrieval

실패로부터의 학습: 소형 언어 모델 도구 사용 에이전트를 위한 이종 그래프 메모리

Learning from Failures: Heterogeneous Graph Memory for Small Language Model Tool-Using Agents

중소형 언어 모델(language model)은 도구 사용 에이전트(agent)를 위한 비용 효율적인 실행자 역할을 하여 로컬 및 대규모 배포에 매력적인 선택지입니다. 그러나 장기적(long-horizon)이고 상태를 유지하는(stateful) 환경에서 이러한 모델(model)들은 필수적인 관측 누락, 조기 쓰기 수행, 실패한 호출 반복, 행동 전제 조건 위반과 같은 구조적 오류를 자주 범합니다. 이러한 오류는 잘못된 상태 업데이트, 정책 위반, 그리고 많은 비용이 들거나 되돌릴 수 없는 결과로 이어질 수 있어, 신뢰할 수 있는 도구 실행이 핵심적인 배포 과제가 됩니다. 기존의 미세조정(fine-tuning) 접근 방식은 상당한 양의 데이터와 연산을 필요로 하며, 평면적 메모리(flat memory)는 인과적 맥락이나 안전성(safety) 조건을 보존하지 못한 채 실패한 행동을 검색할 수 있습니다. 본 논문에서는 과거의 성공과 실패를 도구 사용 에이전트를 위한 구조화된 외부 경험으로 변환하는, 경험 구조화 이종 그래프 기반 실패 인지 검색 프레임워크인 FRESH(Failure-aware Retrieval framework over Experience-Structured Heterogeneous graphs)를 제안합니다. FRESH는 태스크, 행동, 오류, 복구, 실행 조건 간의 의존성을 명시적으로 모델링함으로써, 동결된(frozen) 언어 모델이 신뢰할 수 있는 전략을 재사용하고, 반복되는 실패를 방지하며, 상태 기반 도구 상호작용에서 더 안전한 결정을 내릴 수 있도록 돕습니다. 여러 오픈소스 모델을 사용해 $\tau$-Bench 및 AppWorld에서 수행한 실험에 따르면, FRESH는 메모리가 없는 에이전트 및 대표적인 메모리 기반 베이스라인 대비 태스크 성공률과 도구 사용 신뢰성을 일관되게 향상시킵니다.

arXiv:2609.27286v1cs.AI공통 태그 Decision Making, Information Retrieval

장기 호라izon 에이전트에서 행동 전에 형성되는 메모리 제어 신호

Memory Control Signals Emerge Before Action in Long Horizon Agents

장기 호라izon 언어 모델 에이전트는 상호작용 기록을 계속 축적하면서 계산 비용이 커지고, 관련 정보를 보존·재사용하기도 어려워진다. 기존 컨텍스트 관리 방법은 주로 기록을 압축하거나 검색하는 데 초점을 두지만, 메모리 연산이 일어나기 전에 모델 자체가 그 필요성을 이미 내부적으로 표현하는지는 대체로 밝히지 않았다. 우리는 각 에이전트 행동 직전의 은닉 상태를 분석한 결과, 압축과 회상(기억 인출) 필요성이 이미 모델의 내부 표현에 인코딩되어 있음을 보였다. 이러한 신호는 단순한 컨텍스트 길이나 상호작용 진행만으로는 설명되지 않으며, 모델 깊이에 따라 서로 다른 형성 패턴을 보인다. 또한 대부분의 메모리 결정 정보는 압축된 최근 컨텍스트에 남아 있고, 선택적으로 복원한 과거 근거가 최근 컨텍스트가 놓치는 장거리 의존성을 보완함을 보였다. 이에 따라 상태 기반 압축과 외부 근거 검색을 결합한 Preaction Memory with Evidence Retrieval(PaMER)을 제안한다. PaMER+는 현재 과제에 필요한 과거 정보만 되살리기 위한 단계(step) 수준 근거 선택을 추가한다. WorkBuddyBench에서 여러 컨텍스트 관리 베이스라인과 모델 백본에 대한 실험 결과, 본 프레임워크는 과제 성능을 경쟁력 있게 유지하면서 컨텍스트 소비를 크게 줄였다.

arXiv:2609.27354v1cs.SE공통 태그 Decision Making, Information Retrieval

제약 기반 컨텍스트 엔지니어링: AI 시스템을 위한 도메인 인터페이스 설계

Constraint-Driven Context Engineering: Designing Domain Interfaces for AI Systems

생성형 AI 시스템은 도메인 문제를 해결하기 위해 점점 더 널리 배포되고 있다. 이러한 시스템은 해당 도메인에서 허용 가능한 AI 행동과 결과를 정의하는 기술적, 규제적, 기관적, 규범적 제약 하에서 동작한다. 우리는 산업 협력 과정에서 반복되는 패턴을 관찰했다. 파트너들은 종종 동작은 하지만 상대적으로 범용적인 AI 솔루션을 가지고 찾아온다. 과제는 더 이상 AI 시스템을 처음부터 구축하는 것이 아니라, AI가 생성한 솔루션의 품질과 도메인 적합성을 높이는 데 있다. 이러한 상황에서 병목은 종종 시스템에 제공되는 컨텍스트의 품질, 범위, 구조이다. 그러나 기존 컨텍스트 엔지니어링 접근법은 주로 검색(retrieval), 메모리(memory), 도구(tools)를 통해 도메인 지식을 공급하는 데 초점을 두며, 운영 환경에서 AI 시스템을 지배하는 제약을 체계적으로 식별하고 운영화하는 데 대한 지원은 제한적이다. 본 논문은 AI 시스템을 위한 도메인 인터페이스를 설계하기 위한 설계 접근법인 제약 기반 컨텍스트 엔지니어링(Constraint-Driven Context Engineering, CDCE)을 제안한다. 소프트웨어 아키텍처 설계와 도메인 주도 설계(Domain-Driven Design, DDD)에 기대어, CDCE는 도메인 제약을 1급 설계 동력으로 다룬다. 제약을 식별·특성화하고, 필요한 컨텍스트 자산을 결정하며, 이러한 자산이 AI 시스템에 제공되도록 하는 표현(representation)을 설계한다. 우리는 교육 평가, 의료 의사결정 지원, 재정적 어려움 예측 분야에서 산업 및 공공 부문 파트너와 비교 다중 사례 연구를 수행했다. 제약의 특성에 따라 AI 행동을 안내하거나, 허용 가능한 경계를 강제하거나, AI 생성 결과의 검증을 지원할 수 있다. 사례들은 대조적인 도메인 전반에서 CDCE의 적용 가능성을 보여 주며, 제약 특성이 최종 도메인 인터페이스를 어떻게 형성하는지를 보여 준다.

arXiv:2609.22609v1cs.RO공통 태그 Decision Making, Information Retrieval

문서화된 강도에서 힘 한계치까지: 건설 조립을 위한 재료 정보 기반 로봇 삽입

From Documented Strengths to Force Limits: Material-Informed Robotic Insertion for Construction Assembly

삽입(Insertion)은 로봇 기반 건설 조립에서 필수적인 작업이지만, 재료 물성과 조립 조건의 편차로 인해 조립체의 허용 용량(capacity)을 초과하지 않으면서 작업을 완료할 수 있는 접촉력을 선정하기가 어렵습니다. 건설 문서에는 재료 및 시공 조건에 관한 공학적 지식이 담겨 있지만, 이러한 지식을 특정 조립체에 대한 하중 한계로 변환하는 작업은 여전히 어렵습니다. 본 논문에서는 문서화된 재료 근거를 로봇 삽입을 위한 허용 용량 추정치로 변환하는 시스템인 SAGE(Source-grounded Assembly Gating and Execution)를 제시합니다. SAGE는 대규모 언어 모델(LLM)의 역할을 검색된 구문 및 표에서 인장 및 압축 강도를 추출하고 그 출처를 기록하는 것으로 제한합니다. 그런 다음 반응 모델(response model)이 오프라인 유한 요소(FE) 해석 결과를 보간하여 이러한 강도 및 조립 조건을 축방향 하중 허용 용량으로 변환합니다. 양(+)의 틈새(clearance)를 가지는 끼워맞춤의 경우 추정된 허용 용량이 정책의 축력 한계치를 설정하며, 억지끼워맞춤(interference fit)의 경우에는 측정된 지지 요구치와 비교하여 진입 여부를 결정합니다. 주요 벤치마크(benchmark)에서 SAGE는 동일한 근거를 바탕으로 한 직접적인 LLM 추정치의 평균 허용 용량 오차인 80.65%를 10.74%로 줄입니다. 재적합(refitting) 없이도 16개의 추가적인 형상에서 평균 오차는 8.00%를 유지합니다. 지정된 지지 해제 모델 하에서 SAGE는 점수가 매겨진 62회의 시뮬레이션 실행 중 59회를 정확하게 분류하며, 보수적인 오차만을 보입니다. 기록된 xArm6 시연에서 SAGE는 재료 문서를 입력으로 받아 13회 시험 중 9회에서 물리적 삽입을 성공적으로 완료합니다. 이러한 결과는 문서 해석은 LLM에 맡기고 힘 계산은 명시적 역학 모델에 할당함으로써 정확한 허용 용량 추정과 추적 가능한 삽입 결정을 도출할 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.