MCRI: 에이전트 스킬 분석 및 평가를 위한 4차원 프레임워크
MCRI: A Four-Dimensional Framework for Analyzing and Evaluating Agent Skills
에이전트가 단일 도구 시스템에서 모듈형 복합 아키텍처로 진화함에 따라, 스킬은 능력 개발 및 배포를 위한 중요한 메커니즘이 되고 있습니다. 그러나 학계에는 스킬을 체계적으로 분석하고 평가하기 위한 구조화된 프레임워크가 부족합니다. 본 연구에서는 정보 획득(information gain)과 행동 제약(behavioral constraint)에 기반하여 4차원 MCRI 프레임워크를 제안하고, 이를 대규모 언어 모델(LLM) 기반 평가 방법인 MCRI-Eval로 구체화합니다. 우리는 OpenClaw 스킬 허브의 63,812개 공개 스킬과 BigCodeBench, BFCL-Fundamental, Mind2Web에 걸친 58,275회의 스킬 조건부 모델 실행을 활용하여 MCRI-Eval을 평가합니다. MCRI-Eval 점수는 커뮤니티 인기도 신호와 양의 상관관계를 보이며, 평가된 방법 중 가장 높은 다운스트림 순위 일치도를 달성합니다. 또한 MCRI-Eval은 세 벤치마크 모두에서 top-1 스킬 선택 능력을 향상시킵니다. 각 벤치마크의 가장 강력한 기준선과 비교했을 때, MCRI-Eval이 선택한 스킬은 BigCodeBench, BFCL-Fundamental, Mind2Web에서 다운스트림 성능 순위가 각각 17.7, 22.8, 19.6 백분위수 포인트 상승했습니다. 이러한 결과는 MCRI-Eval이 비용이 많이 드는 실행 기반 평가를 수행하기 전에 유망한 스킬의 우선순위를 정할 수 있는 유용한 사전 실행 신호를 제공함을 보여줍니다.