UAV 영상을 활용한 재난 후 건물 피해 평가를 위한 첨단 심층 학습 기법 결합의 효용성 분석
Assessing the Benefits of Combining Advanced Deep Learning Techniques for Post-Disaster Building Damage Assessment from UAV Imagery
한국어 초록
신속하고 정확한 재난 후 건물 피해 평가는 필수적이지만 여전히 까다로운 과제입니다. 무인 항공기(UAV) 영상은 피해 지역에 대한 적시의 고해상도 시야를 제공하지만, 기존 컴퓨터 비전(CV) 모델은 대규모 주석 데이터셋을 요구하는 경우가 많고 지리적 영역 및 평가 정책 전반에 걸쳐 일반화 능력이 떨어지며 학습된 특정 작업에만 국한되는 경향이 있습니다. 대규모 비전-언어 모델(LVLM)은 강력한 추론 및 일반화 능력을 바탕으로 유망한 대안을 제시하지만, 객체 검출(object detection) 및 정확한 경계 상자(bounding box) 생성과 같은 정밀한 저수준 지각 작업에는 한계를 보입니다. 또한 도메인 특화 작업에서 효과적인 미세조정(fine-tuning)을 수행하려면 상당한 양의 데이터가 필요한 경우가 많습니다. 본 논문에서는 검출과 피해 평가를 분리하여 CV 모델의 정밀도와 LVLM의 추론 능력을 결합한 하이브리드 프레임워크를 제안합니다. 먼저 CV 모델이 건물을 검출하고 이미지 상에 경계 상자를 생성한 후, 이를 LVLM에 전달하여 피해 분류 및 맥락적 해석을 수행합니다. 우리는 제안한 프레임워크를 두 가지 실제 벤치마크인 RescueNet과 FloodNet에서 평가했습니다. 특히 이 프레임워크 하에서 최적의 조합은 온전한 건물, 부분 파손 건물, 완전히 파괴된 건물의 수를 정확하게 집계하여 검출 단계에 제한적인 주석 데이터만 필요로 하면서도 단일 베이스라인 대비 최대 2.1 R^2 포인트 더 높은 성능을 보였습니다. 종합적인 성능 향상을 보고하는 것 외에도 실패 시나리오와 예외 케이스(edge case)에 대한 세부적인 분석을 제공하여 실무자를 위한 실용적인 통찰과 향후 연구를 위한 구체적인 방향을 제시합니다. 소스 코드와 데이터는 연구 커뮤니티를 위해 다음 저장소(https://github.com/ungquanghuy-kddi/VLM_GDINO.git)를 통해 공개되어 있습니다.
원문 초록
Rapid and accurate post-disaster building damage assessment is essential, yet remains a challenging task. Unmanned Aerial Vehicle (UAV) imagery offers a timely and high-resolution view of affected areas, but existing Computer Vision (CV) models often demand large annotated datasets, generalize poorly across geographic regions and their assessment policies, and are confined to the specific tasks they were trained for. Large Vision-Language Models (LVLMs) offer a promising alternative through their strong reasoning and generalization capabilities, but fall short on precise, low-level perception tasks such as object detection and accurate bounding box generation. Furthermore, they often require a substantial amount of data for effective fine-tuning on domain-specific tasks. In this paper, we propose a hybrid framework that decouples detection from damage assessment, combining the precision of CV models with the reasoning power of LVLMs. A CV model first detects buildings and generates bounding boxes on the image that are then passed to an LVLM for damage classification and contextual interpretation. We evaluated our framework on two real-world benchmarks: RescueNet and FloodNet. In particular, the best combination under this framework accurately counts intact, partially damaged and completely destroyed buildings, surpassing isolated baselines by up to 2.1 R^2 points, while requiring only limited annotated data for the detection stage. Beyond reporting aggregate gains, we provide a detailed analysis of failure scenarios and edge cases, offering practical insights for practitioners and concrete directions for future work. Our source code and data are publicly available to the research community via the following repository: https://github.com/ungquanghuy-kddi/VLM_GDINO.git
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.01906v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.