arXiv:2610.01539v1 cs.AI

AI 평가 샌드박스 구성기: AI 규제 샌드박스 내 기술적 평가 지원을 위한 프레임워크

The AI Assessment Sandbox Configurator: A Framework to Support Technical Assessment in AI Regulatory Sandboxes

Alessio Buscemi, German Castignani, Daniele Pagani, Maxime Cordy, Jordi Cabot

제출 2026-10-01

한국어 초록

EU의 인공지능법(AI Act)은 모든 회원국이 2027년 8월까지 AI 규제 샌드박스(AIRS)를 구축하도록 요구하고 있습니다. 이는 국가 관할 당국, 기술 전문가 및 평가 대상 조직이 한데 모이는 감독 환경입니다. AIRS 참여 과정에 구조화된 기술 테스트가 포함될 때, 이러한 테스트를 대규모로 실행하려면 전용 인프라가 필요하지만, 툴링 생태계는 여전히 구조적으로 파편화되어 있어 이종의 도구들이 비교, 추적 및 재사용이 어려운 결과물을 생성합니다. 본 논문에서는 AIRS 참여의 절차적 조건과 고위험 시스템에 대한 AI 법 의무 사항으로부터 AIRS 내에서 기술 테스트를 운영하기 위한 인프라의 11가지 아키텍처 및 거버넌스 요구사항을 도출합니다. 이러한 요구사항에 대응하여, 안정적인 플러그인 API를 통해 접근하는 큐레이션된 테스트 및 통제 카탈로그, 이종의 결과물을 조화시키는 공유 데이터 모델, 다학제적 해석을 위한 역할별 대시보드, 대상별 맞춤형 보고서를 결합한 오픈소스 프레임워크인 AI Assessment Sandbox Configurator를 소개합니다. 본 논문에서는 아키텍처와 현재 릴리스를 설명하고, 실제 AIRS 참여 환경에서 조화 및 보고 계층을 실행하여 공식 종료 보고서(Exit Report) 작성에 기여한 초기 단계 파일럿 결과를 보고합니다. 또한 로드맵, 카탈로그의 계층형 기여 모델이 제기하는 거버넌스 문제, 그리고 회원국 전반에 걸쳐 오픈소스 평가 생태계가 등장할 수 있는 제도적 경로에 대해 논의합니다.

원문 초록

The EU's Artificial Intelligence Act requires all Member States to establish AI Regulatory Sandboxes (AIRS) by August 2027: supervised environments bringing together national Competent Authorities, technical experts, and the organisations under assessment. When AIRS engagements include structured technical testing, running such testing at scale demands dedicated infrastructure, yet the tooling ecosystem remains structurally fragmented, with heterogeneous tools producing outputs that are difficult to compare, trace, and reuse. From the procedural conditions of AIRS engagements and the AI Act obligations for high-risk systems, we derive 11 architectural and governance requirements for the infrastructure that operationalises technical testing within an AIRS. In response to these requirements, we introduce the AI Assessment Sandbox Configurator, an open-source framework combining a curated Catalogue of tests and controls accessed through a stable plug-in API, a shared data model that harmonises heterogeneous outputs, role-specific dashboards for multi-disciplinary interpretation, and audience-segmented reporting. We describe the architecture and current release, and report an early-stage pilot that exercised the harmonisation and reporting layers within a live AIRS engagement and contributed to an official Exit Report. We discuss the roadmap, the governance questions raised by the Catalogue's tiered contribution model, and the institutional pathways through which an open-source assessment ecosystem could emerge across Member States.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01539v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.20634v1cs.AI공통 태그 ai auditing

DEMM-Bench: 에이전트 런타임 거버넌스-증거 충분성을 위한 교차-레짐 벤치마크

DEMM-Bench: A Cross-Regime Benchmark for Agent-Runtime Governance-Evidence Sufficiency

에이전트 런타임 시스템은 추적 기록(traces), 원장(ledgers), 출처 그래프(provenance graphs), 정책 로그, 위임 토큰(delegation tokens), 캐시 이벤트, 도구 방화벽(tool-firewall) 기록을 생성하지만, 이러한 컨테이너들이 특정 의사결정에 대한 거버넌스 질문에 반드시 답하지는 않는다. DEMM-Bench는 Decision Evidence Maturity Model(DEMM)에 기반한 에이전트 런타임 거버넌스-증거 충분성을 위한 교차-레짐 벤치마크로, 단순히 존재하는지 여부가 아니라 여덟 가지 증거 레짐에 걸친 기록이 의사결정 수준 속성을 재구성하기에 충분한지를 측정한다. 이 벤치마크는 어댑터를 통해 레짐을 정규화하고, 행위자(actor), 권한(authority), 행동(action), 정책(policy), 의사결정 근거(decision basis), 리소스 접촉(resource touch), 수명주기 맥락(lifecycle context), 검증 강도(verification strength)에 대한 속성 질문을 제시하며, 여덟 가지 결정론적 열화(degradation) 조건을 적용한다. 64개의 원고 사례에 걸쳐 trace-present 및 schema-present 베이스라인은 사례의 75%에서 과잉 주장(overclaim)을 하고, ledger-present는 50%에서 과잉 주장하며, 편집된 속성 수준 후보 채점기는 과잉 주장이 0%이며 평균 Property Sufficiency Accuracy가 56.25%이다. 공개된 패키지는 64개 사례 데이터셋, construction-oracle 레이블, 베이스라인, 어댑터를 제공하여 이질적인 에이전트 런타임 증거 기반(evidence substrates)에 걸친 의사결정-증거 성숙도의 재현 가능한 평가를 지원한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.