배포 후 사용자 피드백은 생성형 AI 시스템과 기능을 모니터링하고 개선하기 위한 비용 효율적이며 확장 가능하고 대표성 있는 수단이 될 수 있습니다. 효과적으로 구현될 경우, 이러한 피드백 제공은 생성형 AI(GenAI) 시스템에 대한 사용자의 참여도와 신뢰를 높일 수 있습니다. 정부 규제와 업계 가이드라인은 배포 후 사용자 참여를 요구하고 있지만, 소비자가 사용하기 쉽고 제품 팀에는 실행 가능한 인사이트를 제공하는 메커니즘을 설계하는 데 대한 지침은 거의 없습니다. 본 연구는 학계 연구진과 eBay 간의 협업을 통해 다단계 연구를 수행했습니다. 현재 업계 접근법에 대한 벤치마크 평가를 통해 발견 용이성(discoverability) 부족, 불명확한 용어, 사용자 가치에 대한 무관심 등의 공통적인 문제를 확인했습니다. 이러한 발견을 바탕으로 모범 사례 권고안을 개발하고 프로토타입 피드백 수집 도구를 설계 및 테스트했습니다. 이 도구는 사용자에게 효율적이고 유연하며 긍정적인 피드백 제공 경험을 선사하고, 제품 팀에는 성능과 잠재적 문제에 대한 풍부한 데이터를 활용 가능한 형태로 제공하는 것을 목표로 합니다.
UNESCO AI 윤리 권고안 등 인권 기반 프레임워크에 기반하여, 책임 있는 AI 글로벌 지수(Global Index on Responsible AI, GIRAI)는 각국이 책임 있는 AI 약속을 시행 가능한 보호, 제도적 역량, 구제 메커니즘으로 어떻게 전환하는지를 조사한다. GIRAI 2026은 이를 포용과 다양성, 윤리와 지속가능성, 노동과 기술, 신뢰와 안전성, 공공서비스에서의 AI 활용의 다섯 차원에서 평가한다. 135개국 국가 수준 연구자로 구성된 글로벌 네트워크가 38개 지표에 대한 68,138개의 데이터 포인트를 수집·평가했으며, 이는 정부 AI 정책 및 이행(17개 지표), 시민사회 참여(5개), 활성화 조건(15개)의 세 기둥과 정부의 용납할 수 없는 위험 수준 AI 시스템 배포에 대한 문서화된 사례로 구성된다. 데이터는 2023년 11월부터 2025년 9월까지를 포괄한다. 지표로부터 100점 만점의 점수를 산출하여 모든 국가를 순위화한다.
연구 결과, 135개국 중 126개국이 17개 AI 정책 지표 전반에 걸쳐 최소 하나의 정부 정책이나 이니셔티브를 보유하는 등 책임 있는 AI 거버넌스가 확대되고 있으나, 이것이 종종 실질적인 보호로 이어지지는 않는다. 예를 들어, 글로벌 사우스(Global South) 국가들은 첫판 이후 프레임워크를 갖춘 지표의 306건 중 203건을 차지하지만, 이들 프레임워크의 78%는 여전히 구속력이 없는 반면, 글로벌 노스(Global North)에서는 42%에 해당한다. 정부의 AI 거버넌스 약속은 자체 알고리즘까지는 확대되지 않는다. 투명성과 설명 가능성(Transparency and Explainability)이 가장 높은 성과를 보인 지표로 58%의 국가가 어떤 형태의 프레임워크를 갖추고 있으나, 정부 알고리즘의 공개적 공개(Public Disclosure of Government Algorithms)를 요구하는 국가는 18%에 불과하다. 용납할 수 없는 위험 수준 AI 시스템의 정부 배치에 대한 신뢰할 만한 증거도 35개국에서 확인되었다. 이러한 결과는 책임 있는 AI 거버넌스가 프레임워크 채택을 넘어 시행 가능한 인권 기반 보호, 자원을 갖춘 감독 기관, 접근 가능한 구제로 나아가야 함을 보여준다.
자동화된 의사결정과 데이터 기반 기술이 사회 전반에 퍼져 중대한 결과를 관리하는 데 사용됨에 따라, 기술의 역량, 한계, 그리고 수반되는 위험을 맥락 속에서 이해하려면 전체 사회기술(sociotechnical) 시스템에 대한 분석이 필요하다. 고도로 복잡한 시스템에서의 사회기술적 위험 분석은 AI 시스템의 설계와 평가에 분명한 교훈을 제공하며, 신뢰할 수 있거나 "책임감 있게 설계된" 구성요소에 대한 기술적 초점을 넘어 시스템 수준에서 위험을 이해할 수 있게 한다. 인간이 만든 재난은 이러한 사건들의 심각성 때문에 수십 년간 연구되어 왔다: 체르노빌, 쓰리 마일 아일랜드, 후쿠시마 다이이치, 보팔, 챌린저 재난 등을 생각해 보라. 흔한 오해는 이러한 종류의 사건들이 복잡한 시스템에서 본질적으로 예측 불가능한 상호작용에서 비롯된 우발적 사고라는 것이다. 더 면밀한 조사는 위험과 유해 요인이 사전에 잘 알려져 있었지만 사회 구조적, 정치적, 경제적 요인으로 인해 조치가 취해지지 않았음을 보여준다.
우리는 AI의 개발과 사용이 이러한 배우지 못한 교훈을 통해 이득을 볼 수 있는 여러 영역을 개괄한다: 조직 수준에서의 위험 인식, 소통, 분석의 개선; 요구사항과 책임의 추적 가능성(traceability); 사회적·조직적 역학을 일차적 엔지니어링 관심사로 포함하는 책임과 안전성(safety)에 대한 전체론적 접근. 각 영역에 대해 구체적인 배우지 못한 교훈을 제시하고, 이것이 이전 사고에서 어떻게 실패로 이어졌는지 예시로 보여주며, 이러한 교훈이 현대 컴퓨팅 시스템, 특히 AI에서 여전히 배워지지 못하고 있는 사례도 제시한다.
To effectively address potential harms from Artificial Intelligence (AI) systems, it is essential to identify and mitigate system-level hazards. Current analysis approaches focus on individual components of an AI system, like training data or models, in isolation, overlooking hazards from component interactions or how they are situated within a company's development process. To this end, we draw from the established field of system safety, which considers safety as an emergent property of the entire system. In this work, we translate System Theoretic Process Analysis (STPA) - a recognized system safety framework - for analyzing AI development and operation processes. We focus on systems that rely on machine learning algorithms and conduct STPA on three case studies involving linear regression, reinforcement learning, and transformer-based generative models. Our analysis explored how STPA's control and system-theoretic perspectives apply to AI systems and whether unique AI traits - such as model opacity, capability uncertainty, and output complexity - necessitate modifications to the framework. We find that the key concepts and steps of conducting an STPA apply to AI systems but require targeted adaptations to address AI-specific challenges that arise to differing degrees across three case studies. We present the Process-oriented Hazard Analysis for AI Systems (PHASE) as a guideline that adapts STPA concepts for AI. Applying and interpreting STPA using the PHASE guidelines enables four key affordances for analysts responsible for managing AI system harms: 1) detection of system-level hazards, including those from accumulation of disparate issues; 2) explicit acknowledgment of social factors contributing to algorithmic harms; 3) creation of traceable accountability chains between harms and those who can mitigate them; and 4) ongoing monitoring and mitigation of new hazards.
생성형 인공지능(AI) 적용에 대한 신뢰는 성능과 안전성에 대한 잘 거버넌스된 측정 가능한 증거에 달려 있다. 그러나 실무에서는 평가 데이터가 여러 시스템에 분산되어 있고, 구조가 일관되지 않으며 비교하기 어려운 경우가 많다. 우리는 인기 있는 벤더들 간 AI 관측 가능성(observability)을 중앙 집중화하기 위한 경량 오픈소스 데이터 모델로서 생성형 책임 AI 데이터 평가 스키마(GRAIDES)를 제안한다. 코드, 아키텍처, 통계적 평가에 대한 실용적 청사진을 조직 수준에서 생성형 시스템 보증을 접근하는 방법에 대한 지침으로 공유한다. Westminster City Council의 AI 카탈로그에서 사례 연구 결과를 예시로 보고하며, 평가자 간 체계적 불일치를 탐지하는 것을 포함한 인간-모델 정렬(alignment) 측정에 초점을 둔다. 평가를 데이터 모델링 문제로 구성함으로써, GRAIDES는 생성형 AI 시스템에 대한 보다 일관되고 재현 가능한 벤치마킹, 튜닝, 보증 활동으로 이어지는 실용적 경로를 제공한다.
영국 정부는 심각한 재정 압박 속에서 공공 서비스 제공을 혁신하기 위해 친(親) AI 기조를 채택했으나, 이 비전을 책임 있는 AI 실무로 전환하는 경로는 여전히 불명확하다. 영국의 정책은 주로 국가 수준에서 수립되는 반면, 지방 당국은 대부분의 공공 서비스 제공을 담당하고 있으며, 공공 부문에서 AI 우선 서사의 급속한 확산은 이 국가-지방 접점에서 지식과 실무의 단층선을 노출시키고 있다. 본 논문은 특수교육 요구 및 장애(SEND, Special Educational Needs and Disabilities)라는 고위험 영역을 사례 연구로 삼아, 영국 중앙정부와 지방 당국의 접점에서 책임 AI가 어떻게 해석되고 구현되는지를 고찰한다. 우리는 정책 입안자, 실무자, 제3섹터 전문가를 대상으로 한 17건의 반구조적 인터뷰에 대한 주제 분석을 제시하여, 국가 정책이 지역 실무와 만나는 지점에서 책임 AI 실현을 가로막는 장벽과 이를 가능하게 하는 조건을 규명한다. 우리는 지방 당국이 직면한 다섯 가지 상호 연결된 과제를 도출하였다: AI의 음지 사용과 데이터 프라이버시 위험, AI 공급에서의 시장-정부 비대칭성, 불충분한 인력 준비도, 표준화된 정의 및 측정 기준의 부재, 그리고 인간 책임 체계의 공백이 그것이다. 각 과제에 대해 참여자들은 데이터 보호 프레임워크 강화와 시장-정부 관계 재조정부터 인력 역량 강화에 이르기까지 실행 가능한 조치들을 제안하였다. SEND에 대한 검토는 이러한 과제들을 더욱 선명하게 부각시키며, 취약한 아동과 가족에게 영향을 미치는 고위험 의사결정이 어떻게 책임성, 공정성, 인간 감독을 둘러싼 긴장을 심화시키고 원칙 기반 규제 접근법의 한계를 노출하는지를 보여준다. 우리는 공공 부문의 책임 있는 AI 실현을 위해서는 국가 차원의 정책 조정과 함께 지방 수준에서의 제도적 역량, 가치관, 거버넌스 메커니즘에 대한 구조적 개혁이 모두 필요하다고 주장한다.