원문 초록
To effectively address potential harms from Artificial Intelligence (AI) systems, it is essential to identify and mitigate system-level hazards. Current analysis approaches focus on individual components of an AI system, like training data or models, in isolation, overlooking hazards from component interactions or how they are situated within a company's development process. To this end, we draw from the established field of system safety, which considers safety as an emergent property of the entire system. In this work, we translate System Theoretic Process Analysis (STPA) - a recognized system safety framework - for analyzing AI development and operation processes. We focus on systems that rely on machine learning algorithms and conduct STPA on three case studies involving linear regression, reinforcement learning, and transformer-based generative models. Our analysis explored how STPA's control and system-theoretic perspectives apply to AI systems and whether unique AI traits - such as model opacity, capability uncertainty, and output complexity - necessitate modifications to the framework. We find that the key concepts and steps of conducting an STPA apply to AI systems but require targeted adaptations to address AI-specific challenges that arise to differing degrees across three case studies. We present the Process-oriented Hazard Analysis for AI Systems (PHASE) as a guideline that adapts STPA concepts for AI. Applying and interpreting STPA using the PHASE guidelines enables four key affordances for analysts responsible for managing AI system harms: 1) detection of system-level hazards, including those from accumulation of disparate issues; 2) explicit acknowledgment of social factors contributing to algorithmic harms; 3) creation of traceable accountability chains between harms and those who can mitigate them; and 4) ongoing monitoring and mitigation of new hazards.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2410.22526v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
어떤 AUC에서도 안전하지 않음: 책임 있는 AI를 위한 사회기술적 재난의 배우지 못한 교훈
Unsafe at any AUC: Unlearned Lessons from Sociotechnical Disasters for Responsible AI
자동화된 의사결정과 데이터 기반 기술이 사회 전반에 퍼져 중대한 결과를 관리하는 데 사용됨에 따라, 기술의 역량, 한계, 그리고 수반되는 위험을 맥락 속에서 이해하려면 전체 사회기술(sociotechnical) 시스템에 대한 분석이 필요하다. 고도로 복잡한 시스템에서의 사회기술적 위험 분석은 AI 시스템의 설계와 평가에 분명한 교훈을 제공하며, 신뢰할 수 있거나 "책임감 있게 설계된" 구성요소에 대한 기술적 초점을 넘어 시스템 수준에서 위험을 이해할 수 있게 한다. 인간이 만든 재난은 이러한 사건들의 심각성 때문에 수십 년간 연구되어 왔다: 체르노빌, 쓰리 마일 아일랜드, 후쿠시마 다이이치, 보팔, 챌린저 재난 등을 생각해 보라. 흔한 오해는 이러한 종류의 사건들이 복잡한 시스템에서 본질적으로 예측 불가능한 상호작용에서 비롯된 우발적 사고라는 것이다. 더 면밀한 조사는 위험과 유해 요인이 사전에 잘 알려져 있었지만 사회 구조적, 정치적, 경제적 요인으로 인해 조치가 취해지지 않았음을 보여준다. 우리는 AI의 개발과 사용이 이러한 배우지 못한 교훈을 통해 이득을 볼 수 있는 여러 영역을 개괄한다: 조직 수준에서의 위험 인식, 소통, 분석의 개선; 요구사항과 책임의 추적 가능성(traceability); 사회적·조직적 역학을 일차적 엔지니어링 관심사로 포함하는 책임과 안전성(safety)에 대한 전체론적 접근. 각 영역에 대해 구체적인 배우지 못한 교훈을 제시하고, 이것이 이전 사고에서 어떻게 실패로 이어졌는지 예시로 보여주며, 이러한 교훈이 현대 컴퓨팅 시스템, 특히 AI에서 여전히 배워지지 못하고 있는 사례도 제시한다.
에이전트를 활용한 화학 과학 분야 AI 위험 통제
Controlling risks of AI in chemical science with agents
인공지능은 과학적 발견을 빠르게 진전시키고 있지만, 이러한 발전은 유해 물질 생성이나 기존 규제 우회와 같은 남용 위험을 수반한다. 본 논문에서는 화학 과학 분야에서 AI 남용의 실제 사례를 강조하여 위험을 먼저 입증하고, 이는 해당 AI 모델에 대한 효과적인 안전성 정렬(alignment)의 필요성을 부각한다. 이에 대응하여, 과학 AI 상호작용에서 위험을 평가하고 통제하기 위해 대규모 언어 모델, 도구 및 외부 지식을 활용하는 에이전트 기반 가드레일인 SciGuard를 제안한다. 공정한 비교를 위해, 서로 다른 AI 시스템의 안전성과 유용성을 모두 평가하는 벤치마크 SciMT(Scientific Multi-Task)를 도입한다. SciGuard는 레드팀 테스팅(red-teaming) 쿼리에서 최첨단 무해성 점수를 달성하면서, 과학 지식을 희생하지 않고 무해한 작업에서 높은 성능을 유지한다. 마지막으로, 과학 분야에서 AI의 안전한 배포를 보장하기 위한 지속적인 연구와 대화를 촉구한다.
AGI에서 ASI로
From AGI to ASI
SCARCE: Scalable Cascade Analysis for Rare-event Characterisation via Embeddings
Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle
토론
이 논문과 연결된 포럼 글이 아직 없습니다.