PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23925v1cs.SE

MCPGen: 실행 가능한 MCP 워크플로우 개발에 대한 대규모 언어 모델 벤치마킹

MCPGen: Benchmarking LLMs on Executable MCPWorkflow Development

본 연구에서는 대규모 언어 모델(LLM)이 그래프 구조, 도구 구현, 스키마 바인딩 및 런타임 연결 전반에서 일관성을 유지하는 실행 가능한 워크플로우 산출물을 생성할 수 있는지 조사합니다. 이러한 환경에서 정확성은 교차 계층(cross-layer) 일관성에 달려 있습니다. 즉, 워크플로우가 구조적으로 그럴듯하더라도 도구 구현, 스키마 바인딩 또는 런타임 실행이 서로 일치하지 않으면 실패할 수 있습니다. 기존 벤치마크는 주로 이러한 기능들을 분리하여 평가하거나 궤적 수준의 프록시에 의존하므로, 생성된 워크플로우 산출물이 엔드투엔드(end-to-end)로 실행되는지는 미확인 상태로 남아 있습니다. 이에 본 논문에서는 Model Context Protocol (MCP) 워크플로우 개발을 위한 실행 가능한 벤치마크인 \textbf{MCPGen}을 소개합니다. MCPGen은 16개 응용 도메인에 걸친 100개의 독립형 MCP 프로젝트를 포함하며, 워크플로우 재구성, 도구 생성, 하위 호환 워크플로우 확장의 세 가지 진단 태스크를 평가합니다. 우리는 단일 턴 기반 모델 환경에서 11개의 대표적인 LLM을 평가하고, 정적 분석, 단위 및 통합 테스트, 프로세스 격리 기반의 엔드투엔드 실행을 통해 생성된 산출물을 평가합니다. 모델들은 워크플로우 재구성에서 88.5%에 도달했으나, 어떤 모델도 57%의 엔드투엔드 실행 성공률을 넘지 못했습니다. 도구별 단위 테스트 통과율은 63.8%에 달한 반면, 프로젝트 수준의 통합 성공률은 45%를 넘지 못해 개별 도구 테스트를 통과하더라도 통합이 여전히 주요 병목 현상으로 남아 있음을 시사합니다.