MMFlood: A Multimodal Dataset for Flood Delineation From Satellite Imagery
원문 초록
Accurate flood delineation is crucial in many disaster management tasks, such as risk map production and update, impact estimation, claim verification, or planning of countermeasures for disaster risk reduction. Open remote sensing resources such as the data provided by the Copernicus ecosystem enable to carry out this activity, which benefits from frequent revisit times on a global scale. In the last decades, satellite imagery has been successfully applied to flood delineation problems, especially considering Synthetic Aperture Radar (SAR) signals. However, current remote mapping services rely on time-consuming manual or semi-automated approaches, requiring the intervention of domain experts. The implementation of accurate and scalable automated pipelines is hindered by the scarcity of large-scale annotated datasets. To address these issues, we propose MMFlood, a multimodal remote sensing dataset purposely designed for flood delineation. The dataset contains 1,748 Sentinel-1 acquisitions, comprising 95 flood events distributed across 42 countries. Along with satellite imagery, the dataset includes the Digital Elevation Model (DEM), hydrography maps, and flood delineation maps provided by Copernicus EMS, which is considered as ground truth. To provide baseline performances on the MMFlood test set, we conduct a number of experiments of the flood delineation task using state-of-art deep learning models, and we evaluate the performance gains of entropy-based sampling and multi-encoder architectures, which are respectively used to tackle two of the main challenges posed by MMFlood, namely the class unbalance and the multimodal setting. Lastly, we provide a future outlook on how to further improve the performance of the flood delineation task. Dataset and code can be found at https://github.com/edornd/mmflood.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Alleviating Textual Reliance in Medical Language-guided Segmentation via Prototype-driven Semantic Approximation
A New Dataset and Performance Benchmark for Real-time Spacecraft Segmentation in Onboard Flight Computers
Seg-Wild: Interactive Segmentation based on 3D Gaussian Splatting for Unconstrained Image Collections
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.
시간적 그래프 학습을 통한 축구 점유전 경기 단계의 의도 기반 식별
Intention Driven Identification of In-Possession Match Phases in Association Football through Temporal Graph Learning
구어 대화에서의 맥락 인식 멀티모달 주장 검증
Context-Aware Multimodal Claim Verification in Spoken Dialogues
구어 사실 주장은 종종 멀티턴 대화 안에서 등장하며, 주변 대화는 주장만으로는 얻을 수 없는 맥락을 제공할 수 있다. 그러나 대부분의 팩트체킹(fact-checking) 연구는 고립된 텍스트만 평가하여, 대화형 오디오는 연구가 부족한 상태로 남아 있다. 우리는 MAD2를 제안한다. 이는 구어 주장 검증을 위한 합성 멀티턴 오디오 대화(Multi-turn Audio Dialogues) 벤치마크로, 1,000개의 2화자 대화, 1,230개의 문장 수준 검증 가치 후보 어노테이션, 약 10시간 분량의 오디오를 포함한다. 또한 맥락 인식 오디오 인코더와 대화 인식 텍스트 모델의 보정(calibrated) 멀티모달 퓨전(fusion)을 제안한다. 대화 맥락을 추가하면 설정 전반에서 검증 성능이 향상되지만, 향상폭은 시나리오에 따라 달라진다. 과거 맥락만 사용할 때는 종종 지역적 오프라인(local offline) 성능에 근접하여, 미래 맥락을 사용할 수 없을 때 유용함을 시사한다. 퓨전은 전체 대화 맥락에서 텍스트 대비 평균 이점이 가장 크지만, 설정 전반에 걸쳐 텍스트를 일관되거나 유의미하게 능가하지는 못한다. 전체 대화 맥락 하에서, 탐색적 하위군 결과는 텍스트와 퓨전에서 대화 시나리오에 따른 성능 변동이 더 크고, 오디오에서는 spread 스타일에 따른 변동이 더 크다는 것을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.