EU의 인공지능법(AI Act)은 모든 회원국이 2027년 8월까지 AI 규제 샌드박스(AIRS)를 구축하도록 요구하고 있습니다. 이는 국가 관할 당국, 기술 전문가 및 평가 대상 조직이 한데 모이는 감독 환경입니다. AIRS 참여 과정에 구조화된 기술 테스트가 포함될 때, 이러한 테스트를 대규모로 실행하려면 전용 인프라가 필요하지만, 툴링 생태계는 여전히 구조적으로 파편화되어 있어 이종의 도구들이 비교, 추적 및 재사용이 어려운 결과물을 생성합니다. 본 논문에서는 AIRS 참여의 절차적 조건과 고위험 시스템에 대한 AI 법 의무 사항으로부터 AIRS 내에서 기술 테스트를 운영하기 위한 인프라의 11가지 아키텍처 및 거버넌스 요구사항을 도출합니다. 이러한 요구사항에 대응하여, 안정적인 플러그인 API를 통해 접근하는 큐레이션된 테스트 및 통제 카탈로그, 이종의 결과물을 조화시키는 공유 데이터 모델, 다학제적 해석을 위한 역할별 대시보드, 대상별 맞춤형 보고서를 결합한 오픈소스 프레임워크인 AI Assessment Sandbox Configurator를 소개합니다. 본 논문에서는 아키텍처와 현재 릴리스를 설명하고, 실제 AIRS 참여 환경에서 조화 및 보고 계층을 실행하여 공식 종료 보고서(Exit Report) 작성에 기여한 초기 단계 파일럿 결과를 보고합니다. 또한 로드맵, 카탈로그의 계층형 기여 모델이 제기하는 거버넌스 문제, 그리고 회원국 전반에 걸쳐 오픈소스 평가 생태계가 등장할 수 있는 제도적 경로에 대해 논의합니다.
AI 시스템 감사(audit) 분야에서 74개 이상의 AI 리스크 분류 체계가 존재함에도 실제 감사 실행 방법을 제시하지 못한다는 한계를 지적하며, Eticas AI Risk Taxonomy v2.0.0을 통해 PII 누출 위험을 GPT-4-0314에 실제 측정(적대적 조건 강화 시 공개율 0%→51%→84%)하고 등급화하는 완전한 운영화(operationalization) 계층을 제시한다. 10개 카테고리, 20개 하위 그룹, 76개 서브카테고리로 구성되며 18개 외부 프레임워크와 매핑되는 이 분류 체계의 개념 계층은 CC BY 4.0으로 공개된 개방형 시맨틱 인프라로 배포된다.
에이전트 런타임 시스템은 추적 기록(traces), 원장(ledgers), 출처 그래프(provenance graphs), 정책 로그, 위임 토큰(delegation tokens), 캐시 이벤트, 도구 방화벽(tool-firewall) 기록을 생성하지만, 이러한 컨테이너들이 특정 의사결정에 대한 거버넌스 질문에 반드시 답하지는 않는다. DEMM-Bench는 Decision Evidence Maturity Model(DEMM)에 기반한 에이전트 런타임 거버넌스-증거 충분성을 위한 교차-레짐 벤치마크로, 단순히 존재하는지 여부가 아니라 여덟 가지 증거 레짐에 걸친 기록이 의사결정 수준 속성을 재구성하기에 충분한지를 측정한다. 이 벤치마크는 어댑터를 통해 레짐을 정규화하고, 행위자(actor), 권한(authority), 행동(action), 정책(policy), 의사결정 근거(decision basis), 리소스 접촉(resource touch), 수명주기 맥락(lifecycle context), 검증 강도(verification strength)에 대한 속성 질문을 제시하며, 여덟 가지 결정론적 열화(degradation) 조건을 적용한다. 64개의 원고 사례에 걸쳐 trace-present 및 schema-present 베이스라인은 사례의 75%에서 과잉 주장(overclaim)을 하고, ledger-present는 50%에서 과잉 주장하며, 편집된 속성 수준 후보 채점기는 과잉 주장이 0%이며 평균 Property Sufficiency Accuracy가 56.25%이다. 공개된 패키지는 64개 사례 데이터셋, construction-oracle 레이블, 베이스라인, 어댑터를 제공하여 이질적인 에이전트 런타임 증거 기반(evidence substrates)에 걸친 의사결정-증거 성숙도의 재현 가능한 평가를 지원한다.