PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00302v1cs.CV

재난 해석: 재난 매핑을 위한 비전-언어 모델과 크라우드소싱 이미지를 활용한 다중 작업 공간 추론

Decoding the Disaster: Multi-Task Geospatial Reasoning with Vision-Language Models and Crowdsourced Imagery for Disaster Mapping

크라우드소싱 이미지는 재난 매핑을 위해 적시성 있고 세밀한 거리 수준의 관측을 제공하여, 비상 대응 중 기존 원격 탐사 이미지(RSI)를 보완합니다. 그러나 이러한 이미지는 비정형적이고 공간적으로 모호하며 신뢰할 수 있는 지리적 메타데이터가 부족한 경우가 많아, 수작업 지리적 위치 파악(geolocalization) 및 해석에 많은 노동력이 들고 확장하기 어렵습니다. 본 연구에서는 크라우드소싱 재난 이미지를 이해하고, 지리적 위치를 파악하며, 추론하는 데 있어 비전-언어 모델(VLM)의 잠재력을 조사하기 위한 다중 작업 공간 추론 재난 매핑 프레임워크인 GRDisaster를 제안합니다. GRDisaster는 PhotoMappers에서 파생된 새로 구축된 벤치마크 데이터셋을 기반으로 구축되었으며, 2018년부터 2024년까지의 여러 재난 이벤트를 다루는 사람이 검증한 자발적 지리 정보(VGI), 스트리트 뷰 이미지(SVI), RSI 크로스 뷰 트리플릿으로 구성된 26,340개의 이미지를 포함합니다. 이 프레임워크는 결정론적 및 확률론적 크로스 뷰 지리적 위치 파악을 다중 뷰 융합과 결합하여 VGI 이미지를 지리 참조된 SVI 및 RSI와 연결합니다. 또한 크로스 뷰 지리적 위치 파악 검증과 재난 피해 평가를 위한 두 가지 공간 추론 지표 세트를 도입합니다. 이러한 지표는 구조적, 환경적, 전역 장면 단서를 활용하여 크로스 뷰 대응성을 검증하고, 전문가가 검증한 주석이 달린 시각적으로 관측 가능한 피해 증거를 바탕으로 재난 심각도를 평가함으로써 VLM 출력의 해석 가능성을 개선합니다. 우리가 아는 한, 본 연구는 크로스 뷰 지리적 위치 파악 검증, 해석 가능한 공간 추론, 피해 인지 심각도 평가를 통해 VLM 기반 공간 추론이 크라우드소싱 재난 이미지를 실행 가능한 지리공간 인공지능(GeoAI)으로 어떻게 변환할 수 있는지 조사하는 최초의 체계적인 조사이자 통합 평가 프레임워크를 제공합니다.

arXiv:2507.16849v3cs.CV

Sentinel-2 및 Formosat-5 영상을 활용한 비전 트랜스포머(ViT) 기반 EVAP 모델을 통한 재난 피해 지역 분할

Post-Disaster Affected Area Segmentation with a Vision Transformer (ViT)-based EVAP Model using Sentinel-2 and Formosat-5 Imagery

우리는 원격 탐사 영상으로부터 재난 피해 지역 분할을 정밀화하기 위한 비전 트랜스포머(ViT) 기반 심층 학습 프레임워크를 제안하며, 대만우주국(TASA, Taiwan Space Agency)이 개발한 긴급 부가가치 제품(Emergent Value Added Product, EVAP)을 지원하고 향상하는 것을 목표로 한다. 이 과정은 소규모의 수동 주석 영역으로 시작한다. 이어 주성분 분석(PCA) 기반 특징 공간 분석을 적용하고 신뢰도 지수(CI, confidence index)를 구성하여 이러한 라벨을 확장함으로써 약지도 학습 세트를 생성한다. 확장된 라벨은 Sentinel-2 및 Formosat-5 영상의 다중 밴드 입력을 사용하는 ViT 기반 인코더-디코더 모델을 학습하는 데 사용된다. 우리 아키텍처는 제한된 지도 하에서의 성능 향상을 위해 여러 디코더 변형과 다단계 손실 전략을 지원한다. 평가 과정에서 모델 예측은 공간적 일관성과 분할 일치성을 평가하기 위해 고해상도 EVAP 출력과 비교된다. 2022년 푀양호(Poyang Lake) 가뭄과 2023년 로도스(Rhodes) 산불에 대한 사례 연구를 통해, 본 프레임워크가 분할 결과의 평활성과 신뢰성을 향상시키며, 정확한 지상 기준(ground truth)을 이용할 수 없을 때 재난 매핑을 위한 확장 가능한 접근법을 제공함을 보여준다.