HazardWeaver: 위험 분석 에이전트를 위한 과학적 경로 선택
HazardWeaver: Scientific Route Selection for Hazard Analysis Agents
자연재해를 이해하고 평가하는 것은 재난 대비 및 위험 완화에 필수적입니다. 최근 대규모 언어 모델(LLM)의 발전은 과학 데이터, 모델, 도구를 자동화된 워크플로우로 통합하는 기능을 중심으로 위험 분석용 AI 에이전트(agent)에 대한 관심을 불러일으켰습니다. 그러나 효과적인 자동화를 위해서는 에이전트가 주어진 사건에 적합한 과학적 방법을 판단하고, 사용 가능한 데이터와 도구를 바탕으로 실행할 수 있어야 합니다. 새로운 증거와 실행 결과가 확보됨에 따라 이러한 조건은 변할 수 있으며, 이에 따라 에이전트는 선택을 재검토해야 합니다. 본 연구에서는 이 문제를 상태 의존적 과학적 경로 선택으로 공식화하고 HazardWeaver를 제안합니다. 구체적으로 HazardWeaver는 먼저 Hazard Knowledge Compiler를 활용해 과학적 적용성을 규정하는 증거 연계 조건을 추출한 다음, Hazard Capability Graph를 통해 실행 가능한 과학적 기능을 표현하고 입출력 간의 호환성을 점검합니다. 이러한 상호보완적 표현을 바탕으로 Hazard Weaver Agent 구성요소는 적용 가능하고 실행 가능한 경로를 선택하여 워크플로우를 수행하며, 분석 상태 변화에 따라 결정을 수정합니다. 과학적 결과물과 이를 도출한 의사결정을 모두 평가하기 위해, 7개 단일 재해 영역과 4개 다중 재해 상호작용 클래스에 걸친 141개 인스턴스로 구성된 Hazard Weaver Benchmark를 구축했습니다. 이 벤치마크(benchmark)는 여러 유효한 과학적 경로를 지원하며 결과물의 정확성, 경로 유효성, 정당한 기권(justified abstention)을 평가합니다. 해당 벤치마크에서 진행된 광범위한 실험을 통해 HazardWeaver가 기존 에이전트 시스템을 능가하며, 복수의 적격 과학적 경로가 존재하는 태스크에서 가장 큰 성능 향상을 보임을 입증했습니다. 코드는 https://github.com/LabRAI/HazardWeaver 에서 공개되어 있습니다.