arXiv:2610.00302v1 cs.CV

재난 해석: 재난 매핑을 위한 비전-언어 모델과 크라우드소싱 이미지를 활용한 다중 작업 공간 추론

Decoding the Disaster: Multi-Task Geospatial Reasoning with Vision-Language Models and Crowdsourced Imagery for Disaster Mapping

Wenping Yin, Fabian Desuer, Ziqi Liu, Naixia Mou, Weijia Li, Pedram Ghamisi, Xiao Xiang Zhu, Hao Li

제출 2026-09-28

한국어 초록

크라우드소싱 이미지는 재난 매핑을 위해 적시성 있고 세밀한 거리 수준의 관측을 제공하여, 비상 대응 중 기존 원격 탐사 이미지(RSI)를 보완합니다. 그러나 이러한 이미지는 비정형적이고 공간적으로 모호하며 신뢰할 수 있는 지리적 메타데이터가 부족한 경우가 많아, 수작업 지리적 위치 파악(geolocalization) 및 해석에 많은 노동력이 들고 확장하기 어렵습니다. 본 연구에서는 크라우드소싱 재난 이미지를 이해하고, 지리적 위치를 파악하며, 추론하는 데 있어 비전-언어 모델(VLM)의 잠재력을 조사하기 위한 다중 작업 공간 추론 재난 매핑 프레임워크인 GRDisaster를 제안합니다. GRDisaster는 PhotoMappers에서 파생된 새로 구축된 벤치마크 데이터셋을 기반으로 구축되었으며, 2018년부터 2024년까지의 여러 재난 이벤트를 다루는 사람이 검증한 자발적 지리 정보(VGI), 스트리트 뷰 이미지(SVI), RSI 크로스 뷰 트리플릿으로 구성된 26,340개의 이미지를 포함합니다. 이 프레임워크는 결정론적 및 확률론적 크로스 뷰 지리적 위치 파악을 다중 뷰 융합과 결합하여 VGI 이미지를 지리 참조된 SVI 및 RSI와 연결합니다. 또한 크로스 뷰 지리적 위치 파악 검증과 재난 피해 평가를 위한 두 가지 공간 추론 지표 세트를 도입합니다. 이러한 지표는 구조적, 환경적, 전역 장면 단서를 활용하여 크로스 뷰 대응성을 검증하고, 전문가가 검증한 주석이 달린 시각적으로 관측 가능한 피해 증거를 바탕으로 재난 심각도를 평가함으로써 VLM 출력의 해석 가능성을 개선합니다. 우리가 아는 한, 본 연구는 크로스 뷰 지리적 위치 파악 검증, 해석 가능한 공간 추론, 피해 인지 심각도 평가를 통해 VLM 기반 공간 추론이 크라우드소싱 재난 이미지를 실행 가능한 지리공간 인공지능(GeoAI)으로 어떻게 변환할 수 있는지 조사하는 최초의 체계적인 조사이자 통합 평가 프레임워크를 제공합니다.

원문 초록

Crowdsourced imagery provides timely, fine-grained, street-level observations for disaster mapping, complementing conventional remote sensing imagery (RSI) during emergency response. However, such imagery is often unstructured, spatially ambiguous, and lacks reliable geographic metadata, making manual geolocalization and interpretation labor-intensive and difficult to scale. This work proposes a multi-task Geospatial Reasoning Disaster mapping framework, namely GRDisaster, to examine the potential of vision-language models (VLMs) in understanding, geolocalizing, and reasoning over crowdsourced disaster imagery. GRDisaster is built on a newly curated benchmark dataset derived from PhotoMappers, comprising 26,340 images organized into human-validated volunteered geographic information (VGI), street-view imagery (SVI), RSI cross-view triplets covering multiple disaster events from 2018 to 2024. The framework combines deterministic and probabilistic cross-view geolocalization with multi-view fusion to associate VGI images with georeferenced SVI and RSI. It introduces two sets of spatial reasoning indicators for cross-view geolocalization validation and disaster damage assessment. These indicators use structural, environmental, and global-scene cues to validate cross-view correspondences and visually observable damage evidence with expert-verified annotations to assess disaster severity, improving the interpretability of VLM outputs. To our knowledge, this study provides the first systematic investigation and unified evaluation framework for examining how VLM-based spatial reasoning can transform crowdsourced disaster imagery into actionable geospatial artificial intelligence (GeoAI) through cross-view geolocalization validation, interpretable spatial reasoning, and damage-aware severity assessment.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00302v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13832v1cs.CV공통 태그 Scene Understanding, vision-language model

SpatialASM: 공간 추론을 위한 능동적 심적 표상화의 내재화

SpatialASM: Internalizing Active Mentalization for Spatial Reasoning

복잡한 공간 추론 과제를 해결할 때 일반적인 인간은 자연스럽게 과제와 관련된 시점에서 장면을 다시 살펴보고, 해당 시점들로부터 공간 배치를 머릿속으로 재구성(mental reconstruction)합니다. 하지만 대규모 비전-언어 모델(LVLM)도 능동적으로 같은 방식으로 사고할 수 있을까요? 저자들은 이러한 능력을 능동적 공간 심적 표상화(Active Spatial Mentalization, ASM)라고 정의하며, 이는 현재의 LVLM에서 크게 미발달 상태로 남아 있는 시각 지능의 본질적인 구성 요소입니다. 이러한 격차를 해소하기 위해 저자들은 학습(training) 시점의 공간 시뮬레이션을 통해 ASM을 LVLM에 내재화하는 확장 가능한 프레임워크인 SpatialASM을 소개합니다. SpatialASM은 외재적(allocentric) 신규 시점 생성기를 활용하여 가상 시점을 시각적 증거에 그라운딩(grounding)하며, 상호보완적인 두 가지 형태의 지도(supervision)를 생성합니다: i) 공간 추론 중 언제 어떻게 적응적으로 시점 계획과 상상을 불러일으킬지 LVLM에 가르치는 명시적 ASM 궤적, ii) 시점 조건부 장면 상상을 더욱 강화하는 자동 구축된 관점 수용(perspective-taking) 과제. 상대적으로 지각 중심적인 공간 이해부터 다중 이미지, 시점 교차 및 시점 변환 추론이 필요한 더 까다로운 과제에 이르는 7개 벤치마크(benchmark)에서, SpatialASM은 기존의 일반적인 비각 능력을 유지하면서도 4개의 LVLM 백본 모델의 공간 추론 성능 향상을 이끌어냈습니다. 실험 결과는 저자들의 접근법이 7개 공간 벤치마크 전반에서 평균 정확도를 향상시킴을 입증합니다. 또한 ASM 궤적의 합성은 능동적 시점 탐험(exploration)과 심적 장면 시뮬레이션을 유도하기 위한 공간 사고의 연쇄(Chain-of-Thought, CoT) 지도 데이터의 부족을 완화하는 확장 가능한 경로를 제공합니다.

arXiv:2610.10782v1cs.CV공통 태그 Scene Understanding, vision-language model

VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경

VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning

검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.

arXiv:2610.01531v1cs.AI공통 태그 Scene Understanding, vision-language model

자율주행을 위한 신뢰할 수 있는 비전-언어 모델을 향하여

Towards Reliable Vision-Language Models for Autonomous Driving

비전-언어 모델(VLM)은 장면 이해, 주행 추론, 의사결정, 엔드투엔드(end-to-end) 주행과 같은 작업을 위해 자율주행 분야에서 점점 더 활발히 탐색되고 있습니다. 이들의 역할이 더욱 두드러짐에 따라, 강건성(robustness)과 신뢰성(reliability)을 확보하는 것이 점차 중요해지고 있습니다. 실제 환경 조건에서는 센서 결함 및 환경적 요인으로 인해 시각적 입력이 저하될 수 있으며, 이는 모델의 예측과 그에 수반되는 신뢰도(confidence) 모두에 잠재적으로 영향을 미칠 수 있습니다. 이러한 저하는 안전이 핵심적인(safety-critical) 의사결정을 위해 모델이 정확한 예측을 수행하고 자신의 예측이 신뢰할 수 없는 경우를 인식해야 하는 자율주행에서 특히 우려되는 문제입니다. 본 연구에서는 단일 프레임, 다중 뷰(multi-view), 다중 프레임, 단안(monocular) 입력을 포함한 서로 다른 시각적 입력 설정을 갖춘 4개의 주행 관련 QA 데이터셋에 걸쳐 5종의 VLM(Qwen3.5-9B, Gemma4-E4B, LLaVA-OneVision-7B, DriveFusion/DriveFusionQA-4B, NVIDIA Alpamayo-1.5-10B)을 평가합니다. 실험 결과, 시각적 손상(visual corruption)의 영향은 모델, 데이터셋, 입력 설정에 따라 다양하게 나타났으며, 정확도와 신뢰도 신뢰성의 변화 또한 조건에 따라 상이함을 보여줍니다. 이어서 우리는 최근의 추론(inference) 시점 기법인 Visual Evidence Augmentation($\mathrm{V}{\scriptstyle \mathrm{EA}}$)을 적용하여, 저하된 시각적 조건에서 모델 신뢰성을 향상시킬 수 있는지 살펴봅니다. 그 결과 $\mathrm{V}{\scriptstyle \mathrm{EA}}$가 일부 모델과 데이터셋에서 성능을 향상시키지만, 모든 설정에서 일관되게 향상되는 것은 아님을 확인했습니다.

arXiv:2610.00677v1cs.CV공통 태그 Scene Understanding, vision-language model

증강현실에서의 지각 품질 평가 및 자율 콘텐츠 조정을 위한 비전-언어 모델 활용

Harnessing Vision-Language Models for Perceptual Quality Assessment and Autonomous Content Adjustment in Augmented Reality

증강현실(AR, augmented reality)의 발전은 계속해서 혁신적인 솔루션을 촉진하며, 교육 시스템, 의료 서비스, 위험 완화 프로토콜 내에서 새로운 방법론을 가능하게 하고 있다. 그러나 AR 헤드마운트 디스플레이(head-mounted display)가 제한된 장면 기하 구조, 공간적 지터(jitter), 시간적 불안정성과 씨름하는 탓에, 최종 사용자의 몰입감과 편안함을 최적화하는 것은 여전히 어려운 과제로 남아 있다. 사용자 연구(user study)는 시각적 품질에 대한 표준적인 AR 평가 방법이지만, 그 비용과 확장성 저하, 경직성은 반복적인 애플리케이션 설계 과정에서 병목으로 작용한다. 이 문제를 해결하기 위해, 우리는 비전-언어 모델(VLM, vision-language model)을 기반으로 하여 사용자가 지각하는 AR 장면의 시각적 충실도를 평가하고 예측하는, AR 콘텐츠 평가 및 개선을 위한 자동화된 프레임워크를 제시한다. 먼저, 우리는 다양한 장면과 환경 조건에서 수집된 AR 이미지 및 비디오 벤치마크(benchmark)인 RateAR을 소개하며, 이는 객체 배치, 크기(scale), 그림자 일관성을 포함한 지각적 요인들에서 양호~우수한 신뢰도(ICC(2,5) >= .90)를 보인다. 이어서, 우리는 구축한 벤치마크에서 11개의 상용 VLM을 평가한다. 결과는 VLM 기반 품질 예측이 인간의 주관적 판단과 강한 상관관계를 가지며, 최대 0.8695의 스피어만 순위 상관계수(Spearman's rank-order correlation)를 달성함을 뒷받침한다. 추가적인 제거 연구(ablation study)는 다른 프롬프팅 전략들과 비교할 때, 우리의 맥락적 프롬프팅(contextual prompting)이 도입된 복잡성 단서를 균형 있게 조절하면서도 인간 평가와 더 나은 정합성을 보임을 시사한다. 이러한 결과를 바탕으로, 우리는 자동화된 AR 콘텐츠 조정 시스템을 구축하고 21명의 참가자를 대상으로 사용자 연구를 수행한다. 참가자의 90% 이상이 이 시스템이 가상 콘텐츠의 배치 및 크기 일관성을 개선했다고 평가했다.

arXiv:2610.02021v1cs.CV공통 태그 Scene Understanding, vision-language model

2D VLM을 활용한 태스크 적응형 그라운디드 3D 프로그래머

Task-Adaptive Grounded 3D-Programmers Using 2D VLMs

최근 비전-언어 모델(VLM)은 뛰어난 일반화 및 추론 능력을 보여주고 있으나, 이러한 모델에서의 3D 이해는 데이터 규모, 학습(training) 다양성, 추론 역량에 의해 한계를 보입니다. 본 연구에서는 이러한 모델을 단순하게 3D로 확장하는 대신 다른 접근 방식을 취합니다. 즉, 표준 좌표 프레이밍(Canonical Coordinate Framing, CCF)과 태스크 적응형 피드백(Task-Adaptive Feedback, TAF)이라는 두 가지 새로운 개념과 함께 3D 그라운딩(grounding) 및 반복적 피드백 루프를 도입하여 강력한 2D VLM이 3D 환경에서 안정적으로 작동하도록 지원합니다. CCF는 입력과 출력을 모두 공유된 유클리드 좌표계에 고정하는 통합 시각적 표현 역할을 수행하여 축 모호성, 불일치하는 미터법 스케일, 부동 기준점과 같은 3D 그라운딩의 일반적인 문제를 해결합니다. 3D 입력의 구조화된 프레이밍을 보완하는 TAF는 태스크 적응형 동적 피드백으로 추론 루프를 완성하여, 2D VLM이 고유한 시각적 문맥 내에서 다양한 개방형 어휘(open-vocabulary) 태스크를 수행할 수 있도록 합니다. 이러한 기반 위에서, 우리는 강력한 VLM과 함께 CCF 및 TAF의 역량을 결합하여 활용하는 3D 이해, 추론 및 생성 프레임워크인 3D-Prog를 소개합니다. 3D-Prog는 어떠한 재학습 없이도 객체 수준 및 장면 수준 태스크 전반에 걸쳐 개방형 어휘 3D 이해, 조작 및 생성을 수행합니다. 실험 결과는 CCF와 TAF의 결합 활용이 2D VLM을 기하학 인지 3D 프로그래머로 변환시켜 다양한 3D 태스크 전반에서 일관되고 해석 가능하며 고품질의 결과를 달성함을 보여줍니다.

arXiv:2609.27816v1cs.RO공통 태그 Scene Understanding, vision-language model

VLM-LLM 추론과 도달 가능성 분석을 통한 안전한 다중 로봇 협업

Safe Multi-Robot Coordination via VLM-LLM Reasoning and Reachability Analysis

로봇마다 센싱 능력, 환경 인식 수준, 모션 실행 역할이 상이한 이종 사물통신(M2M) 로봇 시스템에서는 안전한 협업을 달성하기 어렵습니다. 본 논문에서는 비전 기능이 있는 4족 보행 로봇과 카메라가 없는 로봇 차량으로 구성된 이종 모바일 로봇 팀의 협력적 목표 지향 내비게이션을 위한 중앙 집중식 안전 인식 M2M 프레임워크를 제안합니다. 본 연구의 목표는 정적 및 동적 장애물을 회피하고 로봇 간의 불안전한 상호작용을 방지하면서 두 플랫폼을 목표 영역으로 유도하는 것입니다. 공유 인지의 원리에 따라 비전 기능 로봇은 MQTT 브로커를 통해 중앙 집중식 서버로 의미론적 환경 인식을 제공하며, 카메라가 없는 플랫폼은 자체 주행거리계(odometry), IMU, 상태 피드백과 함께 이 공유된 장면 표현을 활용하여 내비게이션을 수행합니다. 비전-언어 모델(VLM)이 시각 스트림을 해석하고, 추출된 의미론적 데이터는 팽창된 장애물 집합, 안전 회랑, 목표 영역을 포함한 보수적인 미터법 기하학적 제약 조건으로 매핑됩니다. 대규모 언어 모델(LLM)은 상위 수준의 작업 할당을 제안하는 반면, 물리적 명령 권한은 로봇별 조노톱(zonotope) 도달 가능성 게이트로 제한됩니다. 이 검증 엔진은 명령을 승인하기 전에 독립적인 도달 가능 튜브(reachable tube)를 전파하여 장애물 회피, 안전 회랑 포함 여부, 로봇 간 분리 술어를 평가합니다. 경로가 트인 시나리오와 동적 장애물 시나리오 전반에 걸친 온라인 실험을 통해, 이 파이프라인이 안전한 모션을 안정적으로 승인하고, 제약 조건 위반 시 보수적인 재계획 또는 정지 기동을 유발하며, 자문적 의미론적 추론과 정형 검증된 모터 실행 간의 엄격한 구조적 분리를 강제함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.