EU AI Act가 발효됨에 따라 AI 시스템을 개발하거나 운영하는 조직은 투명성, 위험 관리, 추적 가능성(traceability)에 대한 새로운 의무를 직면하게 된다. 요구사항 공학(RE) 관점에서 이러한 의무는 테스트 가능하고 감사 가능한 요구사항 및 검증 가능한 증거로 변환되어야 한다. 그러나 많은 조직은 현재 이를 달성하기 위한 체계적인 프로세스가 부족하다. 우리는 대규모 언어 모델(LLM) 기반 에이전트 검증 도구가 이러한 변환을 지원하여 이 격차를 해소하는 데 도움이 될 수 있다고 가설한다. 우리는 EU AI Act 지향 RE를 위한 조직의 준비 상태와 LLM 기반 에이전트 폐루프(closed-loop) 검증 도구에 대한 인식을 평가하기 위해 전문가 인터뷰(N=10)와 온라인 설문조사(N=15)를 포함한 혼합 방법 탐색 연구를 수행한다. 참가자는 RE, 데이터 과학, 개발, 컴플라이언스 역할에 걸쳐 있다. 결과는 EU AI Act가 매우 관련성이 높다고 여겨지지만, 규제 의무를 포착하고 프로젝트에 업데이트를 전파하며, 생명주기 전반에 걸친 추적 가능성과 증거를 유지하는 구조화된 메커니즘이 종종 부재함을 보여준다. 참가자들은 LLM 기반 도구가 의무를 요구사항에 매핑하고, 커버리지를 평가하며, 증거를 조직하는 데 유망하다고 보면서도 완전 자동화에 대한 강한 우려를 표명하고 안전장치(safeguards)의 필요성을 강조한다. 이러한 발견을 바탕으로 우리는 EU AI Act 대응 폐루프 접근법을 위한 최소 요구사항을 개략적으로 제시한다.
규제 대상자가 자율 및 에이전트 AI를 사용하는 활동을 규제하는 것은 어렵다. 규제 대상자의 지식과 통제에 관한 규제 가정은 더 이상 성립하지 않으며, 그 중 상당 부분은 AI 공급망의 다른 곳에 있으므로 이를 규제 범위에 포함시켜야 한다. 자율 AI를 위한 거버넌스 체계는 기존 거버넌스 모델을 그대로 복제할 수 없으며, 새로운 접근이 필요하다. 사후 감독 감시는 위험 관리 도구로서 효과를 잃으며, AI 자율성은 새로운 해결책이 필요한 새로운 시스템적 위험을 야기한다. 본 논문은 네 가지 규제 체계를 조사한다: 영국의 콘텐츠 플랫폼 규제, 데이터 보호, 영국 금융 서비스, EU AI Act의 부문 간 규제 체계. 자율 및 에이전트 AI가 제기하는 과제를 분석하고 규제 당국이 채택할 수 있는 잠재적 해결책을 제안한다. 이는 규제를 반응적 과정에서 능동적 과정으로 전환하고, AI 자율성의 과제에 적응하는 데 도움이 될 것이다.
EU AI 법(EU AI Act)이 AI 연구자에게도 적용될 수 있으며, 특히 GitHub, Hugging Face 등 플랫폼을 통한 모델 및 시스템 공개 행위가 법적 준수 의무를 발생시킬 수 있음을 분석한 포지션 페이퍼로, 연구 예외 조항이 현행 AI 연구 출판 관행을 충분히 반영하지 못해 ICML, NeurIPS, ICLR 등 주요 학회 연구자들이 최대 3,500만 유로의 과태료 위험에 노출될 수 있다고 주장한다.
The rapid proliferation of AI applications has intensified debate on effective regulation of these black-box services. Effective regulation must balance two competing goals: (1) deterring non-compliant providers from entering the market, while (2) retaining compliant ones. We call this ideal the perfect market outcome (PMO). Regulators face two compounding obstacles that make PMO difficult to achieve: providers hold private information and can act strategically to evade compliance, while any evidence drawn or derived from a finite sample carries statistical uncertainty in proving non-compliance. As this information asymmetry and statistical uncertainty is inherent to any effective regulation, we formalise them through a mechanism design framework that explicitly accounts for such statistical uncertainty. This yields a sharp characterisation: a mechanism achieves PMO if and only if the set of non-compliant evidence distributions forms a closed, convex set of probability measures, known in imprecise probability as a credal set. This result serves as a diagnostic tool to determine whether PMO is achievable under a given regulation. We further show that PMO-achieving mechanisms can be constructed from a collection of hypothesis tests, and validate our theoretical contributions through experiments on spurious-feature and fairness-based regulations.
Autonomous AI systems are transitioning from advisory to autonomous roles for medication prescriptions. Recent United States bill H.R. 238 and Utah's prescription-renewal pilot both authorize AI to prescribe medications in an agentic capacity. While some regulatory guidelines suggest aggregate model performance metrics for clearance, they do not require i) calibrated per-prediction confidence for action-gated thresholds, ii) differentiated communication of uncertainty arising from model ignorance (epistemic) versus genuine clinical ambiguity (aleatoric), and iii) inferential transparency at the moment of decision that allows for liability allocation. Here, we present a regulatory and technical argument (tested with a survey of 136 U.S. prescribing clinicians) positioning these as minimum architectural requirements for safe autonomous prescribing. Our results suggest prescribing clinicians i) would not permit autonomous prescribing without a calibrated confidence-based escalation mechanism, ii) preferred a competing-options summary when uncertainty was aleatoric but shifted to abstention when uncertainty was epistemic, and iii) were only willing to accept additional liability when inferential transparency enabled a substantive judgment under acknowledged uncertainty. These findings indicate our recommended architectural features would encourage higher rates of clinician adoption, largely through collapsing much of what "autonomy" conventionally means. A system meeting these requirements would function less as an autonomous agent and more as a heavily supervised decision-support tool. As legislation and state pilots proceed, our technical argument backed by clinician perspectives provides opportunities for regulation to constrain the degree of autonomy ethically granted to AI in prescribing while aligning liability with the institutional actors who control system design and deployment.
급증하는 AI 규제 환경에서 기존 역할의 확장만으로는 부족하므로 법적 해석과 AI 거버넌스가 결합된 독립적인 전문직 프로필인 'AI 법률 전문가(AI Legal Specialist)'를 제안하고 정의한다. 또한 유럽 e-Competence Framework에 부합하는 역량 아키텍처와 핵심 성과 지표를 제시하여 국제 표준화 및 실무 적용의 기초를 마련한다.
유럽 AI 법안(EU AI Act)에서 모호한 추론(inference) 능력의 정의를 명확히 하기 위해 통계적 학습 이론에 기반한 프레임워크를 제안하고, 신용 평가(credit scoring) 사례를 통해 전체 데이터 처리 과정과 전문가 개입이 추론 능력 판단에 미치는 영향을 분석했다.