PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00302v1cs.CV

재난 해석: 재난 매핑을 위한 비전-언어 모델과 크라우드소싱 이미지를 활용한 다중 작업 공간 추론

Decoding the Disaster: Multi-Task Geospatial Reasoning with Vision-Language Models and Crowdsourced Imagery for Disaster Mapping

크라우드소싱 이미지는 재난 매핑을 위해 적시성 있고 세밀한 거리 수준의 관측을 제공하여, 비상 대응 중 기존 원격 탐사 이미지(RSI)를 보완합니다. 그러나 이러한 이미지는 비정형적이고 공간적으로 모호하며 신뢰할 수 있는 지리적 메타데이터가 부족한 경우가 많아, 수작업 지리적 위치 파악(geolocalization) 및 해석에 많은 노동력이 들고 확장하기 어렵습니다. 본 연구에서는 크라우드소싱 재난 이미지를 이해하고, 지리적 위치를 파악하며, 추론하는 데 있어 비전-언어 모델(VLM)의 잠재력을 조사하기 위한 다중 작업 공간 추론 재난 매핑 프레임워크인 GRDisaster를 제안합니다. GRDisaster는 PhotoMappers에서 파생된 새로 구축된 벤치마크 데이터셋을 기반으로 구축되었으며, 2018년부터 2024년까지의 여러 재난 이벤트를 다루는 사람이 검증한 자발적 지리 정보(VGI), 스트리트 뷰 이미지(SVI), RSI 크로스 뷰 트리플릿으로 구성된 26,340개의 이미지를 포함합니다. 이 프레임워크는 결정론적 및 확률론적 크로스 뷰 지리적 위치 파악을 다중 뷰 융합과 결합하여 VGI 이미지를 지리 참조된 SVI 및 RSI와 연결합니다. 또한 크로스 뷰 지리적 위치 파악 검증과 재난 피해 평가를 위한 두 가지 공간 추론 지표 세트를 도입합니다. 이러한 지표는 구조적, 환경적, 전역 장면 단서를 활용하여 크로스 뷰 대응성을 검증하고, 전문가가 검증한 주석이 달린 시각적으로 관측 가능한 피해 증거를 바탕으로 재난 심각도를 평가함으로써 VLM 출력의 해석 가능성을 개선합니다. 우리가 아는 한, 본 연구는 크로스 뷰 지리적 위치 파악 검증, 해석 가능한 공간 추론, 피해 인지 심각도 평가를 통해 VLM 기반 공간 추론이 크라우드소싱 재난 이미지를 실행 가능한 지리공간 인공지능(GeoAI)으로 어떻게 변환할 수 있는지 조사하는 최초의 체계적인 조사이자 통합 평가 프레임워크를 제공합니다.