arXiv:2408.11820

Responsible AI Question Bank: A Comprehensive Tool for AI Risk Assessment

Sung Une Lee, Harsha Perera, Yue Liu, Boming Xia, Qinghua Lu, Liming Zhu, Olivier Salvado, Jon Whittle

제출 2024-08-02

원문 초록

The rapid growth of Artificial Intelligence (AI) has underscored the urgent need for responsible AI practices. Despite increasing interest, a comprehensive AI risk assessment toolkit remains lacking. This study introduces our Responsible AI (RAI) Question Bank, a comprehensive framework and tool designed to support diverse AI initiatives. By integrating AI ethics principles such as fairness, transparency, and accountability into a structured question format, the RAI Question Bank aids in identifying potential risks, aligning with emerging regulations like the EU AI Act, and enhancing overall AI governance. A key benefit of the RAI Question Bank is its systematic approach to linking lower-level risk questions to higher-level ones and related themes, preventing siloed assessments and ensuring a cohesive evaluation process. Case studies illustrate the practical application of the RAI Question Bank in assessing AI projects, from evaluating risk factors to informing decision-making processes. The study also demonstrates how the RAI Question Bank can be used to ensure compliance with standards, mitigate risks, and promote the development of trustworthy AI systems. This work advances RAI by providing organizations with a valuable tool to navigate the complexities of ethical AI development and deployment while ensuring comprehensive risk management.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24336v1cs.AI공통 태그 Decision Making, Fairness, Navigate

불평등한 여행, 불평등한 장소: 자율주행 차량 플릿 조율에서 지연 불평등의 진단과 완화

Unequal Trips, Unequal Places: Diagnosing and Mitigating Delay Inequity in Autonomous Vehicle Fleet Coordination

도시 규모 자율주행 차량 플릿 코디네이터는 통상 총 여행 시간을 최적화하도록 설계되지만, 플릿 평균은 지연이 여행과 지역에 걸쳐 어떻게 분포되는지를 가린다. 우리는 맨하튼, 시카고, 샌프란시스코의 세 실제 도시 도로망 및 택시 수요 데이터셋에 대해 분포 감사를 수행한다. 이 감사는 도시와 코디네이터에 따라 방향이 달라지는 만연한 여행 길이 불평등을 드러낸다. 여행 길이를 통제한 뒤에는 공간적 불평등이 수요 증가에 따라 더 두드러지며, 여행을 목적지가 아닌 출발지 기준으로 묶을 때 일관되게 더 강해진다. 이러한 결과는 지연된 차량에 제한된 재계획 용량을 할당하고 최근 관측된 대기 압력을 이용해 이들을 우회하는 예산 제약 온라인 조율 프레임워크인 SPatially Aware RErouting(SPARE)을 제안하게 한다. SPARE는 재검토(per-review)마다 의사결정 보장을 제공하며 온라인 경로 갱신을 명시적으로 상한으로 제한한다. 세 데이터셋 모두에서 여섯 개의 대표 베이스라인과 비교한 실험에서 SPARE는 도시 규모 확장성을 유지하면서 효율-공정성 결합 성능이 가장 우수하다. 결과는 상한이 있는 혼잡 반응형 우회가 전체 플릿 재계획 없이도 성능과 형평성을 개선함을 보여준다.

arXiv:2610.11008v1physics.soc-ph공통 태그 Decision Making, Fairness

LLM 에이전트가 자신의 그룹을 선호하는 이유: 이해관계, 관찰된 규범, 그리고 평판

Why LLM Agents Favor Their Group: Stakes, Observed Norms, and Reputation

언어 모델 에이전트는 자신이 속한 그룹의 구성원들이 서로를 우대하는 모습을 지켜봐 왔기 때문에 자신의 그룹을 선호한다. 결정에 비용이 수반되는 순간 그룹 라벨 자체는 거의 영향을 미치지 않는다; 편애를 유발하는 것은 관찰된 행동이며, 개인의 기록이 이를 압도할 수 있다. 우리는 임의의 그룹 라벨과 10라운드의 포인트 공유, 그리고 짝지어진 단발성(one-shot) 결정으로 구성된 소규모 사회에서 열다섯 개의 OpenAI 모델과 세 개의 Claude 모델에 걸쳐 이를 검증했으며, 약 4,400개의 사회와 330만 건의 감사된(audited) 모델 호출을 분석했다. 첫째, 선행 연구에서 보고된 단순 그룹 라벨의 큰 효과는 다른 구성원에게 포인트를 주는 것이 에이전트에게 아무런 비용이 들지 않을 때에만 나타난다; 에이전트가 포인트를 자신을 위해 보유할 수 있게 되면, 그 효과를 보였던 모든 모델에서 효과가 사라진다. 둘째, 이해관계(stake)가 존재하는 상황에서는 상호작용 기록(interaction history)이 편애의 주된 원인이 된다: 기록 효과는 15개 모델 중 13개에서 통계적으로 양(positive)의 값을 보이며, 11개 모델에서는 10점 중 약 3.5~8점에 달하고, 진행된 라운드 수가 늘어날수록 커지며, 에이전트가 한 번도 만난 적 없는 동일 라벨의 낯선 구성원에게까지 확장된다. 셋째, 스크립트로 구성된(scripted) 기록 하에서는 평등주의적 규범(egalitarian norm) 아래 편애가 거의 0에 가깝게 떨어지며, 에이전트 자신의 그룹이 반대편을 우대하는 것으로 관찰될 경우 편애가 반전된다; 더 강력한 모델일수록 개인의 기록이 그룹과 충돌할 때 개인의 기록 편에 선다. 따라서 그룹 편애는 관찰된 그룹 행동에 대한 동조(conformity)이며, 라벨을 통해 낯선 이에게까지 전이되고 개인의 평판에 의해 압도된다. 동일한 설명은 배신, 스캔들, 그리고 그룹 변경에 대한 무상 제안(free offer)에 대한 반응도 예측한다: 공개적 질책(public reprimand)은 사과나 보상(restitution)보다 배신을 더 효과적으로 회복시키며, 배분상의 처벌(allocation punishment)은 가해 구성원에게만 국한되고, 이미 형성된 그룹은 매수될 수 없지만 더 약한 모델에서는 다른 곳으로 초대되어 이탈할 수 있다.

arXiv:2609.27690v3cs.CL공통 태그 Decision Making, Fairness

합성 연구 검증에서의 중대한 행동과 표상적 공정성

Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research

산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.

arXiv:2610.01963v1cs.AI공통 태그 Decision Making, Fairness

임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사

Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage

응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.

arXiv:2609.36906v2cs.CV공통 태그 Decision Making, Navigate

SafeVantage: 신뢰할 수 있는 임바디드 의사결정을 위한 시점 인지 메모리

SafeVantage: Vantage-Aware Memory for Reliable Embodied Decisions

부분 관측성(partial observability) 환경에서 신뢰할 수 있는 임바디드(embodied) 의사결정을 내리려면 유의미한 관측과 충분한 뒷받침 증거가 필요합니다. 그러나 의미론적(semantic) 점수만으로는 어떤 시점(viewpoint)이 특정 주장을 뒷받침하는지, 또는 추가적인 증거를 어디서 확보해야 하는지 파악할 수 없습니다. 본 연구에서는 각 주장을 뒷받침하는 뷰, 카메라 포즈, 추정된 목표 위치를 보존하여 긍정적 지지(support)와 탐색 범위를 명확히 구분하는 시점 인지(vantage-aware) 의미 메모리 및 능동적 정보 획득 프레임워크인 SafeVantage를 소개합니다. 학습된 후보 관측 가능성(candidate-observability) 모델(model)은 주장 기반 지오메트리를 활용하여 도달 가능한 시점에서의 목표 가시성을 예측합니다. 이러한 예측은 이동 비용과 기하학적으로 구별되는 확증을 고려하여, 최종 결정 손실(loss)의 기대 감소량을 바탕으로 시점 선택을 유도합니다. 이후 보정된 헤드가 지지 증거, 공간적 일관성, 커버리지를 결합하여 'Yes', 'No', 또는 'Abstain(기권)' 결정을 내립니다. 저자들은 232개의 미확인 ProcTHOR 주택과 방법 및 행동 예산당 7,424개의 쌍을 이룬 에피소드에 걸친 범주 존재성 벤치마크(benchmark)에서 SafeVantage를 평가(evaluation)합니다. 검증(validation)을 통해 선정된 동일 예산의 베이스라인과 비교했을 때, SafeVantage는 8회 및 12회 행동 조건에서 각각 24.7%와 12.0%의 매크로-F1 향상을 달성하며, 두 예산 모두에서 더 낮은 위험과 더 높은 응답률을 기록했고 8회 행동 시 이동 거리를 31.7% 단축했습니다. 동일 입력 HM3D 실험에서는 고정 관측 환경에서 더 낮은 선택적 위험을 보였으며, 통제된 ScanNet 개입 실험을 통해 뒷받침 뷰를 복원하는 것이 다운스트림 VLM 응답을 개선함을 입증했습니다. 소거 연구는 후보 관측 가능성이 결정 품질과 정보 획득 효율성에 기여함을 추가로 뒷받침합니다. 본 결과는 의미 메모리, 능동적 정보 획득, 신뢰할 수 있는 의사결정을 연결하는 데 있어 주장 수준의 시점 증거가 지닌 가치를 보여줍니다. 코드는 https://safevantage.github.io 에서 확인할 수 있습니다.

arXiv:2610.01243v1cs.CV공통 태그 Decision Making, Fairness

판사가 행동할 때: 문화적 맥락의 프롬프트에서 VLM 기반 이미지 선택 감사하기

When the Judge Acts: Auditing VLM-Guided Image Selection on Culturally Situated Prompts

비전-언어 모델(VLM)이 생성된 여러 이미지 중 최선의 이미지를 선택하는 판사(judge) 역할을 수행하는 경우가 점차 늘어나면서, 이들의 선택이 사용자가 보게 되는 결과를 결정짓고 있습니다. 이러한 판사는 대개 자신이 반환하는 이미지가 아니라 인간의 평가 점수와의 일치도를 바탕으로 검증됩니다. 본 연구에서는 의사결정자로서의 VLM 판사를 감사(audit)합니다. 문화적 맥락이 담긴 300개의 프롬프트를 대상으로, 판사가 반환한 이미지를 판사가 사전에 보지 않은 인간 평가 및 동일한 후보군에서의 무작위 선택과 비교하고, 후보의 순서를 바꾸어 모든 결정을 반복 평가합니다. 40억(4B) 매개변수 판사는 무작위 선택을 겨우 넘어서는 수준에 그치며 CLIP 유사도 기준선에 미치지 못합니다. 이 판사는 호출의 49%에서 첫 번째로 제시된 이미지를 선택하며(무작위 확률: 28%), 순서를 변경할 경우 60%의 프롬프트에서 선택이 바뀝니다. 이 판사의 경우 순서 간의 일치 여부가 유의미한 정보를 제공합니다. 순서 재배치에도 유지되는 결정은 무작위보다 훨씬 우수한 반면, 더 성능이 낮은 두 번째 판사와의 일치도를 기준으로 삼으면 잘못된 결정이 그대로 남게 됩니다. 80억(8B) 판사는 위치 바이어스가 거의 나타나지 않으며 CLIP을 능가하지만, 이 판사에서는 동일한 필터를 적용할 경우 오히려 좋은 결정을 대부분 버리게 됩니다. 일치도는 판사의 실패 모드를 정확히 겨냥할 때만 도움이 되므로, 판사가 변경될 때마다 필터를 다시 감사해야 합니다. 4B 판사에서 소폭 증가했던 고정관념 평가는 여러 순서에 걸쳐 집계하거나 더 큰 판사와 결합한 후에는 더 이상 감지되지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.