AI Audit: A Card Game to Reflect on Everyday AI Systems
원문 초록
An essential element of K-12 AI literacy is educating learners about the ethical and societal implications of AI systems. Previous work in AI ethics literacy have developed curriculum and classroom activities that engage learners in reflecting on the ethical implications of AI systems and developing responsible AI. There is little work in using game-based learning methods in AI literacy. Games are known to be compelling media to teach children about complex STEM concepts. In this work, we developed a competitive card game for middle and high school students called "AI Audit" where they play as AI start-up founders building novel AI-powered technology. Players can challenge other players with potential harms of their technology or defend their own businesses by features that mitigate these harms. The game mechanics reward systems that are ethically developed or that take steps to mitigate potential harms. In this paper, we present the game design, teacher resources for classroom deployment and early playtesting results. We discuss our reflections about using games as teaching tools for AI literacy in K-12 classrooms.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
콜롬비아 70년 철학의 지도화: Ideas y Valores의 동적 토픽 모델링
Mapping Seven Decades of Philosophy in Colombia: Dynamic Topic Modelling of Ideas y Valores
MoralBench: Moral Evaluation of LLMs
윤리와 보상이 갈라질 때: 도덕적으로 민감한 사회적 딜레마에서의 LLM 에이전트
When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas
최근 LLM의 발전으로 인간이나 다른 에이전트와의 의사결정을 포함하는 복잡한 에이전트 역할에 LLM을 활용할 수 있게 되면서, 윤리적 정렬(alignment)이 중요한 관심사가 되었다. 기존 연구는 LLM의 도덕적 판단과 전략적 행동을 각각 따로 다루어 왔지만, 도덕적 명령이 이익 추구와 직접 충돌할 때 LLM이 어떻게 행동하는지에 대한 이해는 제한적이다. 우리는 \msimfull (\msim)을 도입하여, 9개 모델에 걸쳐 도덕적 프레이밍, 상대 행동, 생존 압력을 변화시키며 도덕적으로 민감한 맥락에 내재된 죄수의 딜레마(prisoner's dilemma)와 공공재 게임(public goods game)에서 LLM이 어떻게 행동하는지 평가한다. 행동 측정을 넘어, 평균 처리 효과(ATE)를 통해 각 요인의 인과 효과를 추정하고, 에이전트 자체의 추론 trace를 분석하여 선택 뒤에 있는 동기를 특성화한다. 어떤 모델도 일관되게 도덕적이지 않으며, 협력률은 7.9\%에서 76.3\%까지 분포한다는 것을 발견했다. 게임 구조와 도덕적 프레이밍이 도덕적 행동의 가장 강한 인과적 동인이며, 추론 trace 분석은 모델마다 뚜렷한 동기 프로필을 드러낸다. 이는 주로 보상 최대화(payoff-maximizing)부터 도덕적·평판 지향적 성향까지 다양하다. 이 결과들은 현재 LLM의 도덕적 행동이 상황에 따라 쉽게 흔들린다는 점과, 이익 추구가 윤리적 지침과 충돌하는 환경에 LLM을 배치할 때의 위험을 드러낸다.
HumaniBench: A Human-Centric Framework for Large Multimodal Models Evaluation
대규모 멀티모달 모델(LMM)은 현재 많은 비전-언어 벤치마크에서 뛰어난 성과를 보이고 있으나, 공정성, 윤리성, 공감능력, 포용성 등 인간 중심의 기준에서는 여전히 어려움을 겪고 있으며, 이는 인간의 가치와 정렬하는 데 핵심적인 요소입니다. 본 논문에서는 HumaniBench를 소개합니다. HumaniBench는 3만 2천 개의 실제 이미지-질문 쌍으로 구성된 종합 벤치마크로, 확장 가능한 GPT4o 지원 파이프라인을 통해 주석이 달렸으며 도메인 전문가들에 의해 철저히 검증되었습니다. HumaniBench는 공정성, 윤리성, 이해력, 추론, 언어 포용성, 공감능력, 견고성 등 7가지 인간 중심 AI(HCAI) 원칙을 평가하며, 개방형 및 폐쇄형 시각 질문 응답(VQA), 다국어 QA, 시각적 그라운딩, 공감적 캡셔닝, 견고성 테스트 등 7가지 다양한 과제를 포함합니다. 15개의 최신 LMM(오픈소스 및 폐쇄소스)을 벤치마킹한 결과, 독점 모델이 대체로 우위를 보이나 견고성과 시각적 그라운딩에서는 약점을 드러냈습니다. 일부 오픈소스 모델은 정확성과 인간 정렬 원칙 준수 간의 균형을 맞추는 데 어려움을 겪고 있습니다. HumaniBench는 HCAI 원칙을 중심으로 설계된 최초의 벤치마크로, 정렬 격차를 진단하고 LMM이 정확하면서도 사회적으로 책임 있는 행동을 하도록 안내하는 엄격한 테스트베드를 제공합니다. 데이터셋, 주석 프롬프트, 평가 코드는 https://vectorinstitute.github.io/HumaniBench 에서 확인하실 수 있습니다.
Achieving Distributive Justice in Federated Learning via Uncertainty Quantification
Surveying Professional Writers on AI: Limitations, Expectations, and Fears
토론
이 논문과 연결된 포럼 글이 아직 없습니다.