AI4Fire: 산불 작업에서 대규모 언어 모델(LLM) 평가
AI4Fire: Evaluating Large Language Models on Wildfire Tasks
대규모 언어 모델(LLM)이 산불 관리 분야에 도입되고 있으며, 이 분야에서는 과장된 평가가 재산과 생명의 손실로 이어질 수 있다. 그라운딩(grounding) 여부에 따라 이들 모델은 산불 관련 작업에서 어떤 성능을 보일까? "베어(bare)"는 모델이 작업 입력만을 받는 경우를 의미한다. "그라운디드(grounded)"는 모델이 작업별로 특화된 추가 정보 하나를 함께 받는 경우를 의미하며, 연기 탐지 작업의 경우 동일한 카메라로 촬영된 연기 없는 참조 프레임이 그 추가 정보에 해당한다. AI4Fire는 6개의 핵심 모델을 베어 및 그라운디드 조건에서 다섯 가지 산불 작업에 대해 제로샷(zero-shot)으로 실행하며, 추가 실험(sweep)에서는 29개의 모델을 더 포함한다. 화재 관련 작업에 대한 문헌 조사에서 138편의 연구를 찾았으나, 이들 중 이러한 모델 구성, 작업 범위, 그리고 베어와 그라운디드를 짝지은 실행 방식을 모두 결합한 연구는 없었다. 우리는 세 가지 결과를 보고한다. (1) 그라운딩은 추가된 정보가 답을 직접 담고 있는 경우에 가장 큰 도움이 되었다: 읽기 전용 SQL 도구를 추가하자 모든 핵심 모델의 데이터베이스 정확도가 최대 16퍼센트에서 최소 88퍼센트로 상승했다. (2) 단순한 규칙을 능가하기는 어려웠다: 어떤 핵심 모델도 오늘의 인력 배치 수를 그대로 반복하는 것보다 더 나은 성능을 보이지 못했으며, 두 개의 오픈 가중치(open-weight) 모델은 대체로 유사한 과거 화재일(fire-day)들의 중앙값을 그대로 복사했는데, 이는 더 나쁜 예측 방식이었다. (3) 공개된 데이터셋에는 위험 요소가 존재한다: 화재 위험도(fire-danger) 열(column)이 홀드아웃(holdout) 데이터를 완벽하게 구분해 버리며, 67개의 항공 화재 프레임에는 클리핑된 열적 최대값(thermal maximum)으로부터 읽어낸 잔불(smoldering) 또는 화재 없음 레이블이 붙어 있다. 우리는 프롬프트, 응답, 점수, 코드, 그리고 설문 조사 기록을 공개한다.