arXiv:2608.08935v1 cs.AI

검색-증강 추론, 객체 센싱 및 손상 분석을 위한 통합 멀티모달 AI 시스템

Integrated Multimodal AI System for Retrieval-Augmented Reasoning, Object Sensing, and Damage Analysis

Kalelo Dukuray, Israel Pina, Evan Perez, Erika Ardiles-Cruz, Jie Wei

제출 2026-08-09

한국어 초록

본 연구는 손상 평가를 위한 통합 멀티모달 AI 시스템을 제시하며, 검색-증augmented 생성(RAG) 모델, 열 스펙트럼 인식, 비전 파운데이션 모델 파이프라인, 탐색적 무선 신호 센싱을 통합한다. RAG 구성요소는 추론 시 환각을 완화하기 위해 손상 등급 분류 기준을 포함한 프로젝트별 문서에 로컬 호스팅 언어 모델을 그라운딩하도록 개발되었다. 정적 퓨샷(few-shot) 프롬프트에 대한 대조 실험을 통해 동적 검색이 그라운딩과 사실적 일관성을 향상시킴을 보인다. 또한 벡터 기반 RAG와 개체-관계 추출로 구축한 지식 그래프 변형을 비교하였으며, 문서 간 추론이 필요한 손상 평가 질의에 대해 그래프 기반 검색이 더 강한 응답을 생성함을 보여 하이브리드 dense·sparse·그래프 인식 검색의 필요성을 뒷받침한다. 불리한 조명 및 기상 조건에서 EO(전자광학) 영상의 한계를 보완하기 위해 적외선(IR)/열 센싱을 객체 검출 및 분할에 사용한다. 검출기는 후보 검출을 생성하여 광범위한 객체에 대한 분할을 개선한다. IR 대 가시광 스펙트럼 추적의 페어링 실험은 실패 양상을 드러내어, 견고한 객체 검출 및 손상 분석을 위한 멀티모달 퓨전을 촉진한다. 비전 파운데이션 및 비전-언어 모델을 활용해 합성 손상 영상을 생성하고 손상 심각도를 높은 정확도로 분류하여, 하류 손상 평가 모델의 학습과 검증을 지원한다. 마지막으로, 탐색적 무선 기반 센싱은 EO 및 IR 센싱이 효과적이지 않은 경우 존재, 움직임, 사건 이후 환경 변화를 검출할 잠재력을 보여준다.

원문 초록

This work presents a unified multimodal AI system for damage assessment that integrates retrieval-augmented generation (RAG) models, thermal spectrum perception, vision foundation model pipelines, and exploratory wireless signal sensing. A RAG component is developed to ground a locally hosted language model in project-specific documentation, including specialized damage level classification criteria to mitigate hallucinations during inference. Controlled comparisons against static few-shot prompting demonstrate that dynamic retrieval improves grounding and factual consistency. We further compare vector-based RAG with a knowledge graph variant constructed via entity-relation extraction, and show that graph-based retrieval produces stronger responses for damage assessment queries requiring cross-document reasoning, motivating hybrid dense, sparse, and graph-aware retrieval. To address limitations of EO imagery under adverse lighting and weather conditions, infrared (IR)/thermal sensing is employed for object detection and segmentation. Our detectors generate candidate detections, yielding improved segmentation of a broad array of objects. Paired IR versus visible spectrum tracking experiments reveal failure modes, motivating multimodal fusion for robust object detection and damage analysis. Vision foundation and vision-language models are leveraged to generate synthetic damage imagery and classify damage severity with high accuracy, supporting training and validation of downstream damage assessment models. Finally, exploratory Wireless-based sensing demonstrates potential to detect presence, motion, and post-event environmental changes where EO and IR sensing are ineffective.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.08935v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.