arXiv:2105.02851

Algorithmic Ethics: Formalization and Verification of Autonomous Vehicle Obligations

Colin Shea-Blymyer, Houssam Abbas

제출 2021-05-06

원문 초록

We develop a formal framework for automatic reasoning about the obligations of autonomous cyber-physical systems, including their social and ethical obligations. Obligations, permissions and prohibitions are distinct from a system's mission, and are a necessary part of specifying advanced, adaptive AI-equipped systems. They need a dedicated deontic logic of obligations to formalize them. Most existing deontic logics lack corresponding algorithms and system models that permit automatic verification. We demonstrate how a particular deontic logic, Dominance Act Utilitarianism (DAU), is a suitable starting point for formalizing the obligations of autonomous systems like self-driving cars. We demonstrate its usefulness by formalizing a subset of Responsibility-Sensitive Safety (RSS) in DAU; RSS is an industrial proposal for how self-driving cars should and should not behave in traffic. We show that certain logical consequences of RSS are undesirable, indicating a need to further refine the proposal. We also demonstrate how obligations can change over time, which is necessary for long-term autonomy. We then demonstrate a model-checking algorithm for DAU formulas on weighted transition systems, and illustrate it by model-checking obligations of a self-driving car controller from the literature.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2405.04118v4cs.LG공통 태그 Self-Driving Cars공식 코드 · Papers with Code

언어 병목을 활용한 정책 학습

Policy Learning with a Language Bottleneck

자율주행차 및 게임 플레이 에이전트와 같은 현대 AI 시스템은 초인적인 성능을 달성할 수 있지만, 인간 수준의 일반화 능력, 해석 가능성, 그리고 인간 사용자와의 상호 운용성이 부족한 경우가 많습니다. 인간의 언어와 의사결정 간의 풍부한 상호작용에서 영감을 받아, 우리는 보상 행동의 기저에 있는 고수준 전략을 포착하는 언어적 규칙을 AI 에이전트가 생성할 수 있도록 하는 프레임워크인 언어 병목을 활용한 정책 학습(Policy Learning with a Language Bottleneck, PLLB)을 제안합니다. PLLB는 언어 모델의 유도를 받는 *규칙 생성(rule generation)* 단계와, 규칙이 복잡한 정책 전체를 설명하기에 불충분한 경우에도 해당 규칙의 안내를 받아 새로운 정책을 학습하는 *업데이트(update)* 단계를 번갈아 수행합니다. 2인 신호 게임(two-player signaling game), 미로 내비게이션, 이미지 재구성, 로봇 파지 계획(grasp planning)을 포함한 5가지 다양한 태스크 전반에서, PLLB 에이전트가 더 해석 가능하고 일반화 가능한 행동을 학습할 수 있을 뿐만 아니라 학습된 규칙을 인간 사용자와 공유하여 더욱 효과적인 인간-AI 협업을 가능하게 함을 보입니다. 실험을 위한 소스 코드는 https://github.com/meghabyte/bottleneck 에서 제공됩니다.

arXiv:2505.19212v2cs.CL공통 태그 Ethics공식 코드 · Papers with Code

윤리와 보상이 갈라질 때: 도덕적으로 민감한 사회적 딜레마에서의 LLM 에이전트

When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas

최근 LLM의 발전으로 인간이나 다른 에이전트와의 의사결정을 포함하는 복잡한 에이전트 역할에 LLM을 활용할 수 있게 되면서, 윤리적 정렬(alignment)이 중요한 관심사가 되었다. 기존 연구는 LLM의 도덕적 판단과 전략적 행동을 각각 따로 다루어 왔지만, 도덕적 명령이 이익 추구와 직접 충돌할 때 LLM이 어떻게 행동하는지에 대한 이해는 제한적이다. 우리는 \msimfull (\msim)을 도입하여, 9개 모델에 걸쳐 도덕적 프레이밍, 상대 행동, 생존 압력을 변화시키며 도덕적으로 민감한 맥락에 내재된 죄수의 딜레마(prisoner's dilemma)와 공공재 게임(public goods game)에서 LLM이 어떻게 행동하는지 평가한다. 행동 측정을 넘어, 평균 처리 효과(ATE)를 통해 각 요인의 인과 효과를 추정하고, 에이전트 자체의 추론 trace를 분석하여 선택 뒤에 있는 동기를 특성화한다. 어떤 모델도 일관되게 도덕적이지 않으며, 협력률은 7.9\%에서 76.3\%까지 분포한다는 것을 발견했다. 게임 구조와 도덕적 프레이밍이 도덕적 행동의 가장 강한 인과적 동인이며, 추론 trace 분석은 모델마다 뚜렷한 동기 프로필을 드러낸다. 이는 주로 보상 최대화(payoff-maximizing)부터 도덕적·평판 지향적 성향까지 다양하다. 이 결과들은 현재 LLM의 도덕적 행동이 상황에 따라 쉽게 흔들린다는 점과, 이익 추구가 윤리적 지침과 충돌하는 환경에 LLM을 배치할 때의 위험을 드러낸다.

arXiv:2505.11454cs.CV공통 태그 Ethics공식 코드 · Papers with Code

HumaniBench: A Human-Centric Framework for Large Multimodal Models Evaluation

대규모 멀티모달 모델(LMM)은 현재 많은 비전-언어 벤치마크에서 뛰어난 성과를 보이고 있으나, 공정성, 윤리성, 공감능력, 포용성 등 인간 중심의 기준에서는 여전히 어려움을 겪고 있으며, 이는 인간의 가치와 정렬하는 데 핵심적인 요소입니다. 본 논문에서는 HumaniBench를 소개합니다. HumaniBench는 3만 2천 개의 실제 이미지-질문 쌍으로 구성된 종합 벤치마크로, 확장 가능한 GPT4o 지원 파이프라인을 통해 주석이 달렸으며 도메인 전문가들에 의해 철저히 검증되었습니다. HumaniBench는 공정성, 윤리성, 이해력, 추론, 언어 포용성, 공감능력, 견고성 등 7가지 인간 중심 AI(HCAI) 원칙을 평가하며, 개방형 및 폐쇄형 시각 질문 응답(VQA), 다국어 QA, 시각적 그라운딩, 공감적 캡셔닝, 견고성 테스트 등 7가지 다양한 과제를 포함합니다. 15개의 최신 LMM(오픈소스 및 폐쇄소스)을 벤치마킹한 결과, 독점 모델이 대체로 우위를 보이나 견고성과 시각적 그라운딩에서는 약점을 드러냈습니다. 일부 오픈소스 모델은 정확성과 인간 정렬 원칙 준수 간의 균형을 맞추는 데 어려움을 겪고 있습니다. HumaniBench는 HCAI 원칙을 중심으로 설계된 최초의 벤치마크로, 정렬 격차를 진단하고 LMM이 정확하면서도 사회적으로 책임 있는 행동을 하도록 안내하는 엄격한 테스트베드를 제공합니다. 데이터셋, 주석 프롬프트, 평가 코드는 https://vectorinstitute.github.io/HumaniBench 에서 확인하실 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.