규제 대상 기업에서 에이전틱 AI 플랫폼을 평가하기 위한 역량 프레임워크
A Capability Framework for Evaluating Agentic AI Platforms in Regulated Enterprises
한국어 초록
LLM 에이전트가 계획을 세우고, 도구를 호출하고, 메모리를 유지하며, 서로 협력하여 기업 시스템의 상태를 변경하는 에이전틱 AI 플랫폼은 측정되는 속도보다 빠르게 조달되고 있다. 공개 에이전트 벤치마크는 고정된 하네스에서 모델의 점수를 매기지만, 기업은 오케스트레이션, 메모리, 거버넌스, 도구 계층이 결과를 좌우하는 통합 플랫폼을 구매하며, 그 판단은 대체로 벤더의 시연에 의존한다. 본 논문은 글로벌 은행의 혁신 연구소가 수행한 산업 평가 프로그램("베이크오프")을 보고한다. 이 프로그램에서는 오픈소스 프레임워크, 상용 제품, 하이퍼스케일러 생태계에 걸친 열 개의 플랫폼을 교차 기능 패널이 거래상대방 신용 위험, 검색 증강 생성, 프로세스 자동화라는 세 가지 금융 서비스 워크로드에서 아홉 가지 역량 차원에 대해 평가하였다. 점수는 대안적 가중치에서도 안정적인 세 개의 계층으로 후보군을 구분하며, 집계 점수가 가리는 워크로드별 강점을 드러낸다. 그러나 보조 분석에서는 명목상 서로 다른 차원들 사이에서 Cronbach의 알파가 0.98이고 아홉 개 중 여덟 개 차원이 총점과 0.93 이상의 순위 상관을 보이는 것으로 나타났다. 이는 시연 기반 점수가 역량만큼이나 발표 방식을 측정함을 시사하는 후광 효과이다. 이러한 교훈을 바탕으로 본 논문은 네 개의 계층(역량, 실행 신뢰성, 거버넌스 게이트, 비즈니스 가치)으로 구성된 게이트 후 점수화 평가 프로토콜, 반복 실행으로 추정하는 트레이스 수준 신뢰성 지표, 자율성 준비도 척도, 재현성 프로토콜을 제안한다. 또한 현재의 증거가 무엇을 뒷받침하는지, 그리고 기업 플랫폼 평가를 구조화된 판단에서 측정으로 바꾸기 위해 통제된 하네스가 무엇을 추가해야 하는지를 정확히 서술한다.
원문 초록
Agentic AI platforms-systems in which LLM agents plan, invoke tools, retain memory and coordinate to change the state of enterprise systems-are being procured faster than they can be measured. Public agent benchmarks score models in fixed harnesses; enterprises buy integrated platforms whose orchestration, memory, governance and tooling layers dominate outcomes, and they buy them largely on the strength of vendor demonstrations. We report an industrial evaluation programme ("bakeoff") run by the innovation laboratory of a global bank in which ten platforms-spanning open-source frameworks, proprietary products and hyperscaler ecosystems-were assessed by a cross-functional panel on nine capability dimensions across three financial-services workloads: counterparty credit risk, retrieval-augmented generation and process automation. Scores separate the field into three tiers that are stable under alternative weightings, and surface workload-specific strengths that aggregates hide. A secondary analysis, however, finds Cronbach's alpha = 0.98 across nominally distinct dimensions and rank correlations >= 0.93 with the total for eight of nine: a halo effect indicating that demonstration-based scoring measures presentation as much as capability. From these lessons we propose a gate-then-score evaluation protocol with four layers (capability, execution reliability, governance gates, business value), trace-level reliability metrics estimated over repeated runs, an autonomy-readiness scale and a reproducibility protocol. We state precisely what the present evidence supports, and what a controlled harness must add to turn enterprise platform evaluation from structured judgement into measurement.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24039v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.