ECHO: 바이어스에 기반한 참여형 AI 위해 예측 프레임워크
ECHO: A Participatory Framework for Bias-Anchored AI Harm Anticipation
한국어 초록
인공지능(AI) 시스템은 중요한 결정에 점차 많은 영향을 미치며, 가치를 창출하는 동시에 개인, 사회 집단 및 사회 전반에 잠재적 위해(harm)를 초래하기도 합니다. 이에 따라 AI 수명주기 초기 단계에서 위해를 선제적으로 예측하는 접근 방식에 대한 요구가 커지고 있습니다. 기존 연구들은 AI의 바이어스를 위해의 원인으로 지목하고 있으나, 특정 수명주기 바이어스와 위해 간의 구체적인 연관성은 여전히 충분히 규명되지 않았습니다. 본 연구에서는 수명주기 바이어스에 초기 위해 예측을 연계하고, 잠재적 위해와의 인지된 연관성을 도출하는 체계적이고 맥락 인식형(context-sensitive) 참여 프레임워크인 \texttt{ECHO}를 소개합니다. \texttt{ECHO}는 도메인별 이해관계자를 식별하고, 비네트(vignette)를 통해 바이어스를 구체화하며, 인간 참가자와 대규모 언어 모델(LLM)로부터 위해성 판단을 수집하여 이를 기술적 및 추론적 윤리 매트릭스로 구성합니다. 질병 진단 및 채용 도메인에 적용한 결과, \texttt{ECHO}는 특정 AI 바이어스의 그럴듯한 결과로 어떤 위해가 인식되는지를 보여주는 비균일적이고 맥락에 민감한 바이어스-위해 패턴을 포착했습니다. 이러한 패턴의 이론적 해석 가능성과 특정 연관성에 대한 추론적 뒷받침은 도출된 매핑의 타당성을 강화합니다. \texttt{ECHO}는 이해관계자별로 예상되는 위해를 수명주기 바이어스에 연결함으로써, 원인 수준의 위해 예측을 지원하고 향후 AI 거버넌스 조치를 위한 구조화된 입력을 제공합니다.
원문 초록
Artificial Intelligence (AI) systems increasingly shape consequential decisions, creating value but also potential harms for individuals, social groups, and society. This has prompted calls for proactive approaches that anticipate harms early in the AI lifecycle. Although prior research identifies AI biases as sources of harm, the associations between particular lifecycle biases and harms remain insufficiently understood. We introduce \texttt{ECHO}, a systematic, context-sensitive, and participatory framework that anchors early harm anticipation in lifecycle biases and elicits their perceived associations with potential harms.\texttt{ECHO} identifies domain-specific stakeholders, instantiates biases through vignettes, collects harm judgements from human participants and a large language model (LLM), and organises them into descriptive and inferential ethical matrices. Applied to disease diagnosis and hiring, \texttt{ECHO} surfaced non-uniform, context-sensitive bias--harm patterns indicating which harms were perceived as plausible consequences of particular AI biases. The theoretical interpretability of these patterns and the inferential support for specific associations strengthen the plausibility of the mappings. By linking stakeholder-specific anticipated harms to lifecycle biases, \texttt{ECHO} supports source-level harm anticipation and provides structured input to subsequent AI governance actions
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
학위가 없는 백인 남성이 대규모 언어 모델로부터 가장 낮은 평가를 받는다
White Men Without Degrees Receive the Lowest Ratings from Large Language Models
신용, 채용, 임대 지원서에 대한 통제된 대규모 언어 모델(LLM) 평가에서 학사 학위가 없는 백인 남성이 성별·인종·학력으로 나뉜 8개 집단 중 가장 낮은 평균 평가를 받는 것으로 나타났다. 본 연구는 12개 개발 그룹의 18개 모델을 대상으로 전요인 비네트(full-factorial vignette) 실험을 수행하였으며, 각 환경 내에서 명시된 재정적 또는 직업적 상황을 일정하게 유지하면서 성별, 인종, 연령, 시민권 여부, 학력을 변화시켰다. 각 모델은 환경당 32개의 프로필 전체를 10회씩 평가하여 총 17,280건의 평가 결과를 산출하였다. 모델, 연령, 시민권 여부를 통틀어 평균을 냈을 때, 학위가 없는 백인 남성에 대한 평가는 0-100점 척도 기준으로 신용 75.87점, 채용 92.71점, 임대 주택 86.62점으로 8개 집단 중 가장 낮았다. 반면 학위가 있는 흑인 여성이 가장 높은 평균 평가를 받았으며, 각각 2.94점, 3.66점, 3.56점의 격차를 보였다. 개별 속성 효과를 살펴보면 세 가지 환경 모두에서 여성, 흑인 지원자, 학위 소지자에게 유리하게 작용했다. 학위가 없는 백인 남성은 54개의 모델-시나리오 조합 중 46개(85.2%)에서 가장 낮거나 두 번째로 낮은 평균 점수를 기록했다. 이러한 양상은 학위가 없는 백인 남성 집단에서 심화되는 경제적·건강상 취약성에 대한 기존 실증 결과와 연결되며, 광범위한 인종 또는 성별 범주에 의해 불이익이 가려질 수 있는 집단을 부각한다.
도덕 점검(Moral Check): 페이싱 문제(Pacing Problem)를 위한 전략적 AI 거버넌스
The Moral Check: Strategic AI Governance for the Pacing Problem
기술은 스스로 방향을 잡을 수 없다. 전략이 그 조종을 제공하며, 목적과 판단이 연산 자본(compute capital)보다 앞서야 한다는 규칙을 확립한다. 최전선 인공지능(AI) 생태계가 기하급수적으로 가속함에 따라, 페이싱 문제(pacing problem)는 엔지니어링 팀에 심각한 인지적 터널링(cognitive tunneling)을 유발하여 인간의 판단보다 스칼라 처리량(scalar throughput)을 우선시하게 한다. 조절된 페이싱 속도는 무분별한 스케일링(scaling)을 억제하고, 안전성(safety)을 보장하며, 사회가 정당한 신뢰를 둘 수 있는 정렬(alignment)을 갖춘 모델을 구축하기 위해 필수적이다. 전통적 감독은 사후적 체크리스트를 통해 실패하며, 이는 절차적 성숙도는 높지만 경고할 만한 과학적 미성숙을 보이는 수행적 거버넌스(performative governance)의 병리이다. 우리는 이중 기여를 제시한다: 130편의 실증 연구를 종합한 PRISMA 2020 리뷰(MMAT 평가, 18개 벤치마크; 전체 코퍼스 N = 130편의 실증 연구, 178개 참고 기반)와 전략적 AI 거버넌스 사전 프레임워크(SAGE-X, Strategic AI Governance Ex-Ante Framework)이다. 우리의 종합은 두 가지 체계적 취약점을 드러낸다: 재귀적 보증 역설(Recursive Assurance Paradox, 상관된 비근거 평가자 신뢰)과 내구성 결핍(Durability Deficit, 다중 턴 전환 하에서의 가드레일(guardrail) 감쇠). MIT 전략적 컴퓨팅(Strategic Computing) 교리에 기반하여, SAGE-X는 네 가지 전략적 사고 기둥(Four Strategic Mindset Pillars)을 운영화한다: (1) 실행보다 의도(Intent over Execution, 속도 근시(velocity myopia) 완화); (2) 냉정한 트레이드오프(Ruthless Trade-offs, 도덕적 위험(moral hazard)을 제거하는 결정적 트립와이어(tripwire)); (3) 산출물보다 결과(Outcomes over Outputs, 실증적 위험 종점(empirical hazard endpoints) 감사); (4) 선제적 정렬(Proactive Alignment, 사전(ex-ante) 게이트와 런타임 텔레메트리(runtime telemetry) 동기화). 계산 가능한 도덕 점검 지수(MCI, Moral Check Index)와 우회 불가능한 트립와이어에 의해 거버ned되며, SAGE-X는 Stanford WebProtégé에서 운영 가능한 기업 생애주기 감사 도구(Enterprise Lifecycle Audit Instrument, "Moral Check Audit Card")를 제공하여, 기하급수적 진보가 숙고적 도덕 판단, 인간 주체성(human agency), 사회적 신뢰를 결코 앞지르지 않도록 보장한다.
AI 시스템의 맥락 인식 기반 배포 전 평가: 나이지리아 핀테크를 위한 규제 프레임워크
Context-Aware Pre-Deployment Evaluation of AI Systems: A Regulatory Framework for Nigerian Fintech
상용 대규모 언어 모델(LLM)이 사기 탐지 및 고객 커뮤니케이션을 위해 아프리카 핀테크 인프라 전반에 점점 더 많이 배포되고 있으나, 조달 전 이러한 시스템이 어떤 배포 전 평가(pre-deployment evaluation)를 거쳐야 하는지 명시한 나이지리아 또는 아프리카 대륙 차원의 규제 문서는 전무하다. 본 논문은 글로벌, 아프리카 대륙, 나이지리아의 규제 문서를 아울러 아프리카 핀테크 AI 거버넌스를 검토하고, 안전성(safety)은 원칙으로 확인되는 반면 배포 전 평가는 운영상 구체화되어 있지 않음을 보여준다. 범용 안전성 벤치마크는 나이지리아 기관 관련 콘텐츠를 포함하지 않으며 정상적인 금융 커뮤니케이션의 위양성(false positive) 오분류를 테스트하지 않으므로, 이 도메인에 가장 밀접한 실패 모드를 드러낼 수 없다. 이러한 주장은 3가지 시스템 프롬프트 조건에서 6개의 상용 모델에 적용된 전용 평가 도구인 SafeAlert를 통해 입증된다. 실험 결과에 따르면 범용 유해 콘텐츠 요청을 거부하는 모델도 특정 프레이밍 하에서는 완전한 사기 스크립트를 생성하며, 여러 모델이 대부분의 정상적인 나이지리아 은행 커뮤니케이션을 의심스럽거나 사기성 있는 것으로 오분류하는 등 표준 안전성 평가에서는 드러나지 않는 실패를 보였다. 본 논문은 확인된 격차가 기술적 또는 재정적 자원의 부족이 아니라 규제적 명세의 부재를 반영한다고 주장하며, CBN, NITDA, SEC 및 AU를 위한 배포 전 평가 요건을 제안하는 규제 프레임워크로 결론을 맺는다.
볼록 AI 합성성과 AI 시스템 집단 거버넌스
Convex AI Compositionality and the Governance of AI System Populations
AI 거버넌스는 점점 더 제공자와 공공 당국이 여러 AI 시스템에 대한 다수의 인스턴스화, 대안 버전, 배포 구성을 함께 추론하도록 요구한다. 그러나 현재 규제는 여전히 주로 단일 시스템 중심이며, 이러한 다중성을 드물게만 인정할 뿐 관련 AI 시스템의 집합을 거버넌스 대상으로 다루지 않는다. 이는 AI 집단 거버넌스 문제를 만든다. 즉, 어떤 인스턴스화를 의미 있게 함께 고려할 수 있는지, 그리고 변화하는 구성을 어떻게 표현하고 모니터링할 수 있는지를 결정하는 문제이다. 첫 번째 요구사항은 최근 신뢰성(trustworthiness) 기반 AI 정체성 논의를 통해 다루어졌다. 우리는 두 번째를 볼록 AI 합성성(convex AI compositionality)을 도입함으로써 다룬다. 이는 볼록 공간(convex spaces)을 사용하는, 유한 AI 시스템 집단이 생성하는 구성에 대한 형식적 표현이다. 핵심 아이디어는 AI 시스템 인스턴스 집단이 시간에 걸쳐 점유할 수 있는 운영 상태(operational states)의 볼록 합성이 집단 전체에 걸친 수명 주기 도달 가능성(lifecycle reachability)과 양립하며, 이러한 시스템들 사이의 형식적 정체성 관계를 보존할 수 있다는 것이다. 가중 상태 분포(weighted state distributions)와 볼록 껍질(convex hulls) 같은 잘 알려진 통계·기하 구성은, 명시된 조건 하에서 수명 주기 도달 가능성 및 AI 정체성과 양립하는 한, 운영 상태, 집단 가중치, 이질성(heterogeneity), 서로 다른 거버넌스 모드에 걸친 AI 구성 변화를 구별하는 AI 거버넌스 도구가 된다. 우리는 분산 헬스케어 배포와 채용 AI 변형의 통제된 배포를 통해 AI 집단 거버넌스 프레임워크를 설명한다.
인지 디지털 트윈: 마음을 모델링하는 AI 시스템의 윤리적 위험과 거버넌스
Cognitive Digital Twins: Ethical Risks and Governance for AI Systems That Model the Mind
AI 시스템이 점점 더 지속적이고 개인화됨에 따라, 우리가 인지 디지털 트윈(CDT: Cognitive Digital Twin)이라 부르는 일련의 기술이 가능해지고 있다. CDT란 특정 개인의 인지를 모델링·예측·시뮬레이션하거나, 해당 개인의 의사소통 또는 의사결정 대리인으로 기능하기 위해 행동적·맥락적·생리적 데이터로부터 지속적으로 갱신되는 동적 계산 표현이다. CDT는 인지 추론(inference)과 종단적 표현, 시뮬레이션, 대리 행동을 결합하며, 이는 개인 비서·자율 에이전트·추천 시스템·자동화 의사결정 시스템에 대한 기존 거버넌스 전략으로는 부분적으로만 다루어진다. 본 논문은 네 가지 기여를 제시한다. 첫째, CDT를 정의하고 인접 시스템과 구별한다. 둘째, 권한(authority), 자율성(autonomy), 접근 및 통제(access and control), 책임(accountability), 가용성(availability)을 중심으로 하는 5A 거버넌스 프레임워크를 제안한다. 셋째, 허위 표현과 인식론적 권위 이동에서부터 섀도 트윈, 시뮬레이션 참여, 대리 행동, 대리 권력 비대칭에 이르는 CDT 고유의 위험을 식별한다. 넷째, 거버넌스 공백을 분석하고, 동의, 목적 제한, 유효성, 추적 가능성, 이의 제기, 독립적 검토, 모델 폐기를 강화하는 고위험 CDT에 대한 요건을 제안한다. 기존 프레임워크는 주로 데이터 처리, 자동화된 의사결정, 또는 자율적 행동을 규제하지만, CDT는 어떠한 최종 결정이나 외부 행동이 발생하기 전에 인지 표현 수준에서의 거버넌스 또한 필요로 한다. 우리는 CDT가 사람을 대신해 행동할 수 있기 때문만이 아니라, 인지가 표현·시뮬레이션·분류·운용화되는 인프라가 될 수 있기 때문에도 거버넌스가 필요하다고 주장한다.
책임 있는 AI 글로벌 지수: 2026 보고서
Global Index on Responsible AI: 2026 Report
UNESCO AI 윤리 권고안 등 인권 기반 프레임워크에 기반하여, 책임 있는 AI 글로벌 지수(Global Index on Responsible AI, GIRAI)는 각국이 책임 있는 AI 약속을 시행 가능한 보호, 제도적 역량, 구제 메커니즘으로 어떻게 전환하는지를 조사한다. GIRAI 2026은 이를 포용과 다양성, 윤리와 지속가능성, 노동과 기술, 신뢰와 안전성, 공공서비스에서의 AI 활용의 다섯 차원에서 평가한다. 135개국 국가 수준 연구자로 구성된 글로벌 네트워크가 38개 지표에 대한 68,138개의 데이터 포인트를 수집·평가했으며, 이는 정부 AI 정책 및 이행(17개 지표), 시민사회 참여(5개), 활성화 조건(15개)의 세 기둥과 정부의 용납할 수 없는 위험 수준 AI 시스템 배포에 대한 문서화된 사례로 구성된다. 데이터는 2023년 11월부터 2025년 9월까지를 포괄한다. 지표로부터 100점 만점의 점수를 산출하여 모든 국가를 순위화한다. 연구 결과, 135개국 중 126개국이 17개 AI 정책 지표 전반에 걸쳐 최소 하나의 정부 정책이나 이니셔티브를 보유하는 등 책임 있는 AI 거버넌스가 확대되고 있으나, 이것이 종종 실질적인 보호로 이어지지는 않는다. 예를 들어, 글로벌 사우스(Global South) 국가들은 첫판 이후 프레임워크를 갖춘 지표의 306건 중 203건을 차지하지만, 이들 프레임워크의 78%는 여전히 구속력이 없는 반면, 글로벌 노스(Global North)에서는 42%에 해당한다. 정부의 AI 거버넌스 약속은 자체 알고리즘까지는 확대되지 않는다. 투명성과 설명 가능성(Transparency and Explainability)이 가장 높은 성과를 보인 지표로 58%의 국가가 어떤 형태의 프레임워크를 갖추고 있으나, 정부 알고리즘의 공개적 공개(Public Disclosure of Government Algorithms)를 요구하는 국가는 18%에 불과하다. 용납할 수 없는 위험 수준 AI 시스템의 정부 배치에 대한 신뢰할 만한 증거도 35개국에서 확인되었다. 이러한 결과는 책임 있는 AI 거버넌스가 프레임워크 채택을 넘어 시행 가능한 인권 기반 보호, 자원을 갖춘 감독 기관, 접근 가능한 구제로 나아가야 함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
46 pages