정적 리더보드를 넘어: 대규모 언어 모델(LLM) 에이전트 평가를 위한 예측 타당도
Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents
에이전트 벤치마크는 빠르게 성장하고 있지만, 배포(deployment) 과정에서 드러나는 차원들 중 4~5개 이상을 다루는 벤치마크는 없습니다. 본 논문은 지금까지 MCP 기반 산업용 에이전트 벤치마크에 대한 가장 큰 규모의 조율된 심층 분석을 종합합니다. 여기에는 새로운 자산 클래스(멀티모달 시각 확장 포함), 대안적인 오케스트레이션, 검색 전략, 추론 모드, 인프라 최적화, 평가 방법론 탐색을 다루는 14개의 병렬 구현 연구가 포함됩니다. 이러한 연구들을 7개의 기존 에이전트 벤치마크와 통합하여, 우리는 집계 점수 리더보드가 배포된 에이전트 평가를 체계적으로 불충분하게 명시한다고 주장합니다. 집계 점수에서 파생된 순위는 분포 외(out-of-distribution) 설정으로 전이되지 않으며, 최근 공개-비공개 경쟁 대회의 회고 분석은 이러한 순위 불안정성에 대한 직접적인 경험적 증거를 제공합니다. 우리는 샘플 내(in-sample) 평균 대신 예측 타당도, 즉 샘플 내 순위와 샘플 외(out-of-sample) 순위 간의 상관관계를 기준으로 구성의 순위를 매길 것을 제안하며, HELM과 그 에이전트 시대 후속 모델들이 구분하지 못하는 배포 관련 차원들을 드러내는 12단계 측정 도구를 보고합니다. 이 입장은 명시적인 임계값이 있는 3가지 반증 가능한 분포 외 기준을 통해 조작화되었으며, 기존 증거는 이를 부분적으로 지원하지만 확인하기에는 아직 불충분합니다. 우리는 사전 등록된 파일럿 설계와 차세대 에이전트 벤치마크가 보고해야 할 내용에 대한 분야 수준의 비전으로 결론을 맺습니다.