LLM 에이전트는 공격자가 제어할 수 있는 텍스트를 포함할 수 있는 자연어 문맥을 특권 도구 호출로 변환하므로, 에이전트가 프롬프트 인젝션을 당하거나 적대적으로 유도되더라도 인가는 계속 유효해야 한다. Model Context Protocol(MCP)은 이러한 경계를 위한 널리 채택된 인터페이스가 되었지만, 공식 SDK의 인증·인가 기본 요소는 엔터프라이즈 제로 트러스트 요구사항—특히 하나의 서버가 인간 사용자(기업 SSO)와 자동화된 에이전트(다른 헤더의 서비스 계정 자격 증명)를 모두 제공해야 하는 이중 페르소나 모델—에 미치지 못한다. 우리는 조사한 6개 MCP SDK(Python, TypeScript, Go, Rust, C#, Swift)에 대한 체계적 갭 분석을 수행하고 세 가지 구조적 한계를 확인한다: 단일 Authorization 헤더에 묶인 자격 증명 추출로, 커스텀 미들웨어 없이는 이중 페르소나 배포가 복잡해짐; 사전 인증 도구 디스커버리의 부재; 기본 SDK에서 도구별 세분화된 인가의 부재. 프로토콜이나 SDK 내부를 수정하지 않고, FastMCP에 대한 조합 가능한 확장으로 이러한 공백을 메운다: 인간 호출자와 서비스 계정 호출자를 모두 받는 엔터프라이즈 배포를 위한 크로스 헤더 자격 증명 정규화, 이종 IdP에 걸친 캐시된 토큰 검증, 자격 증명 없는 레지스트리 디스커버리를 위한 비인증 메타데이터 엔드포인트, 단일 선언형 어노테이션으로 도구별 호출 강제와 일관되게 유지되는 권한 필터링 도구 가시성. 4개의 최신 LLM에 걸친 2160회 시도에서, 본문 검사만 수행하는 서버는 여전히 금지된 도구를 노출한다(152/720, 21.1%), 반면 권한 인식 가시성은 해당 비율을 0/720으로 낮춘다; 가시성만 필터링하는 방식은 스크립트 클라이언트에 의해 우회 가능했고, 프롬프트에서 추론 가능한 설정에서는 모델이 숨겨진 도구를 이름으로 참조하는 비율이 최대 94%에 달해, 디스커버리 통제만으로는 호출 시점 강제를 대체할 수 없음을 확인한다.
대규모 언어 모델(LLM) 에이전트는 Model Context Protocol(MCP) 서버 위에 점점 더 많이 배포되고 있지만, 이를 평가하는 데 사용되는 벤치마크는 최종 답변 또는 고정된 "ground-truth" 도구 목록을 채점하는데, 기본 데이터가 라이브(live)하고 상태를 유지(stateful)해지면 둘 다 취약해진다. 우리는 고정된 데이터셋이 아닌 재사용 가능한 프레임워크인 DynamicMCPBench를 제안한다. 실무자는 자신의 MCP 서버에서 이를 실행해 자신의 태스크로 모델을 테스트하거나, 서버를 자동으로 수집하게 하여 모델의 에이전트형(agentic) 태스크 해결 일반 능력을 측정할 수 있다. 서버와 임의의 모델 집합이 주어지면, 현실적인 목표를 생성하고 각 목표를 라이브로 추적해 성공적인 궤적(trajectory)을 기록한 뒤, 그 궤적을 경로 무관(path-agnostic) 효과 체크포인트로 정제하고, 에이전트가 최종 답변이 아니라 그 효과를 재현하는지를 점수화한다. 프레임워크가 드러내는 바를 보여주기 위해 대규모로 실행했다: 121개 서버와 750개 태스크(15개 태스크 카테고리에 각 50개씩 고르게 분포)에 걸쳐 24개 모델을 평가했으며, 각 카테고리는 생성된 질문의 서로 다른 도구 사용(tool-use) 과제를 겨냥한다. 각 태스크는 pass^3로 채점된다: 세 번의 독립 시도가 모두 성공해야만 해결된 것으로 간주한다. 가장 강력한 에이전트조차 태스크의 절반 정도만 해결하며, 31%의 태스크는 어떤 모델도 해결하지 못하고, 필요한 도구 체인(tool chain)이 길어질수록 정확도는 급격히 하락한다(가장 짧은 체인에서 39%에서 가장 긴 체인에서 13%까지). 인간 검증 연구는 자동 채점이 신뢰할 만함을 확인한다(우연 보정 일치도 0.76). DynamicMCPBench는 이에 따라 벤치마크 구축을 실무자가 자신의 서버와 모델에서 재실행할 수 있는 것으로 전환하면서, 현재 에이전트가 긴 다단계 에이전트형 태스크를 처리하지 못하는 일관된 한계를 드러낸다.
Model Context Protocol(MCP) 서버가 LLM과 외부 도구를 연결하는 핵심 인프라로 부상하면서, 기존 벤치마크들은 실제 MCP 서버를 활용해 LLM 에이전트의 도구 사용 능력을 평가한다. 그러나 이러한 벤치마크는 MCP 서버 내 도구 인터페이스와 기능의 지속적인 진화를 간과하여, 변화하는 도구 환경에서 에이전트의 적응력을 포착하지 못하는 결함 있는 평가를 낳는다. 이 격차를 메우기 위해, 우리는 동적 도구집합 진화 하에서 LLM 에이전트의 과제 해결 능력을 평가하기 위한 새로운 벤치마크 MCPEvol-Bench를 제안한다. 대규모 실증 연구에 영감을 받아, 123개 MCP 서버 내에서 현실적인 도구 진화를 시뮬레이션하기 위해 11개의 변이(mutation) 연산자를 제안한다. 우리는 여러 버전의 MCP 서버에서 12개의 최신 LLM을 벤치마킹하여, 최첨단 모델조차 진화하는 도구에 적응하는 데 어려움을 겪음을 밝힌다. 예를 들어, GPT-5.4와 Claude-Sonnet-4-6은 각각 진화한 MCP 서버에서 13.7% 및 14.4%의 성능 저하를 보였으며, 계획 및 추론 오류가 상당히 증가했다. 이러한 결과는 LLM 기반 워크플로의 취약성을 부각하며, 동적 도구 환경에서 에이전트 적응력을 평가하기 위한 표준으로 MCPEvol-Bench를 자리매김한다.
도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 대부분 모든 도구가 정상 동작한다는 가정 하에 평가된다. 도구가 타임아웃되거나, 일주일 지난 값을 반환하거나, 배포 환경에서 설명이 오염되는 경우, 개발자는 장애를 재현하고 수정 사항을 테스트하며 배포 전에 수정이 실제로 동작하는지 확인할 수 있는 통제된 방법이 필요하다. 우리는 MCP 서버를 개입 인터페이스로 전환하는 오픈소스 웹 워크벤치인 AgentCheck를 제안한다. AgentCheck는 에이전트를 실제 도구와 함께 실행하여 모든 도구 응답을 기록한 뒤, 장애(12가지 유형) 주입기로 응답을 변조하여 에이전트를 재실행한다. 일치하는 도구 호출은 캐시에서 재생되고, 에이전트가 분기된 이후의 도구 호출은 실제로 실행된다. 이를 통해 재현-개입-확인 루프가 형성된다. 개발자는 완화 조치를 토글하고 동일한 장애에 대해 재실행하여 장애가 해소되는지 확인할 수 있다. 평가는 두 부분으로 구성된다. 결정론적 통과/실패 규칙과, 사람 어노테이션으로 검증된 해석적 레이블을 위한 LLM 심사자이다. 다섯 가지 에이전트에 걸쳐 최고 성능 에이전트는 120개 시나리오 중 105개를 통과하고 최저 성능 에이전트는 77개만 통과한다. 대부분의 실패는 충돌이 아니라 잘못된 도구 출력을 조용하고 확신 있게 사용하는 형태로 나타난다. 최저 성능 에이전트에서, 재시도 완화 조치는 타임아웃 오류 장애에 대한 성공률을 최저 30%에서 100%로 끌어올리는 반면, 오래된 데이터 장애는 완화 조치와 관계없이 10건 중 3~4건 수준에 머문다. AgentCheck는 이러한 장애 모드를 배포 전에 재현 가능하고, 비교 가능하며, 검증 가능하게 만든다.
Large language model (LLM) agents increasingly rely on external tools served by shared providers and accessed by heterogeneous downstream agents. Existing approaches improve tool use on the agent side through parameter updates, prompt refinement, or agent-side memory, making tool knowledge difficult to share and limited to behaviors observed in past tasks. We argue that reusable tool knowledge should instead be maintained by the tool provider. We introduce ToolAtlas, a graph-based framework that builds a persistent provider-side tool memory of tool capabilities, failure boundaries, and cross-tool compositions through execution-verified probing. At inference time, agents query the tool memory via adaptive graph traversal. Across two MCP-based benchmarks spanning eight services, ToolAtlas outperforms existing tool-side optimization and agent-side memory baselines by up to 21.61% in pass@1 and 18.61% in pass@4. The same tool memory also transfers across environment instances and agent frameworks without retraining or task-time exploration, yielding up to 24.16%/16.22% and 17.49%/14.27% relative gains in pass@1/pass@4, respectively. Ablation studies show that these gains arise from combining tool-centered memory organization with capability-guided execution probing. These results establish provider-side tool memory as an effective and reusable paradigm for tool servers. Our code is in: https://github.com/PuppyKnightUniversity/ToolAtlas.
AI 에이전트 접근의 불평등을 분석하는 기존 프레임워크를 확장하여, 명목상 동등한 에이전트 접근권을 가진 사용자 간에도 시스템이 지식 말뭉치에서 컨텍스트를 자율적으로 검색하는지(Dynamic Context Retrieval) 아니면 사용자가 수동으로 첨부해야 하는지에 따라 질적으로 다른 AI 유용성이 발생하는 "컨텍스트 접근 격차(Context Access Divide, CAD)"를 제안한다. 인지심리학의 팬 효과(fan effect)에 기반한 확률적 모델로 CAD를 공식화하여, 수동 첨부 방식이 말뭉치 규모와 과제 복잡도 증가에 따라 과제 성공 확률의 조합론적 붕괴를 초래하는 반면 RAG 및 MCP 기반 동적 검색 아키텍처는 이러한 붕괴로부터 구조적으로 차단됨을 보인다.