자연재해를 이해하고 평가하는 것은 재난 대비 및 위험 완화에 필수적입니다. 최근 대규모 언어 모델(LLM)의 발전은 과학 데이터, 모델, 도구를 자동화된 워크플로우로 통합하는 기능을 중심으로 위험 분석용 AI 에이전트(agent)에 대한 관심을 불러일으켰습니다. 그러나 효과적인 자동화를 위해서는 에이전트가 주어진 사건에 적합한 과학적 방법을 판단하고, 사용 가능한 데이터와 도구를 바탕으로 실행할 수 있어야 합니다. 새로운 증거와 실행 결과가 확보됨에 따라 이러한 조건은 변할 수 있으며, 이에 따라 에이전트는 선택을 재검토해야 합니다. 본 연구에서는 이 문제를 상태 의존적 과학적 경로 선택으로 공식화하고 HazardWeaver를 제안합니다. 구체적으로 HazardWeaver는 먼저 Hazard Knowledge Compiler를 활용해 과학적 적용성을 규정하는 증거 연계 조건을 추출한 다음, Hazard Capability Graph를 통해 실행 가능한 과학적 기능을 표현하고 입출력 간의 호환성을 점검합니다. 이러한 상호보완적 표현을 바탕으로 Hazard Weaver Agent 구성요소는 적용 가능하고 실행 가능한 경로를 선택하여 워크플로우를 수행하며, 분석 상태 변화에 따라 결정을 수정합니다. 과학적 결과물과 이를 도출한 의사결정을 모두 평가하기 위해, 7개 단일 재해 영역과 4개 다중 재해 상호작용 클래스에 걸친 141개 인스턴스로 구성된 Hazard Weaver Benchmark를 구축했습니다. 이 벤치마크(benchmark)는 여러 유효한 과학적 경로를 지원하며 결과물의 정확성, 경로 유효성, 정당한 기권(justified abstention)을 평가합니다. 해당 벤치마크에서 진행된 광범위한 실험을 통해 HazardWeaver가 기존 에이전트 시스템을 능가하며, 복수의 적격 과학적 경로가 존재하는 태스크에서 가장 큰 성능 향상을 보임을 입증했습니다. 코드는 https://github.com/LabRAI/HazardWeaver 에서 공개되어 있습니다.
To effectively address potential harms from Artificial Intelligence (AI) systems, it is essential to identify and mitigate system-level hazards. Current analysis approaches focus on individual components of an AI system, like training data or models, in isolation, overlooking hazards from component interactions or how they are situated within a company's development process. To this end, we draw from the established field of system safety, which considers safety as an emergent property of the entire system. In this work, we translate System Theoretic Process Analysis (STPA) - a recognized system safety framework - for analyzing AI development and operation processes. We focus on systems that rely on machine learning algorithms and conduct STPA on three case studies involving linear regression, reinforcement learning, and transformer-based generative models. Our analysis explored how STPA's control and system-theoretic perspectives apply to AI systems and whether unique AI traits - such as model opacity, capability uncertainty, and output complexity - necessitate modifications to the framework. We find that the key concepts and steps of conducting an STPA apply to AI systems but require targeted adaptations to address AI-specific challenges that arise to differing degrees across three case studies. We present the Process-oriented Hazard Analysis for AI Systems (PHASE) as a guideline that adapts STPA concepts for AI. Applying and interpreting STPA using the PHASE guidelines enables four key affordances for analysts responsible for managing AI system harms: 1) detection of system-level hazards, including those from accumulation of disparate issues; 2) explicit acknowledgment of social factors contributing to algorithmic harms; 3) creation of traceable accountability chains between harms and those who can mitigate them; and 4) ongoing monitoring and mitigation of new hazards.