XLSAR-Bench: 멀티모달 대규모 언어 모델의 초대형 SAR 영상 이해 평가
XLSAR-Bench: Towards Extremely Large SAR Imagery Understanding of MLLMs
한국어 초록
멀티모달 대규모 언어 모델(MLLM)이 빠르게 발전하면서 원격탐사(RS)에서 이 모델의 능력과 한계를 평가할 종합 벤치마크가 필요해졌다. 그러나 대형 합성 개구 레이더(SAR) 영상에서 MLLM을 평가하기는 여전히 어렵다. 장면 전체를 이해하려면 전역의 의미를 해석하는 능력과 개별 대상을 세밀하게 인식하는 능력이 모두 필요하기 때문이다. 기존 SAR 벤치마크는 주로 작은 영상 패치를 사용해 두 능력을 함께 평가하기 어렵다. 이 한계를 해결하기 위해 대규모 SAR 장면에서 MLLM의 인식 및 추론 능력을 종합적으로 평가하는 XLSAR-Bench를 제시한다. 평균 크기가 7153$\times$7153픽셀인 영상 405장과 시각 질의응답, 시각 그라운딩, 상세 이미지 캡셔닝을 아우르는 과제 열 개로 구성된다. 반자동 캡션 생성기의 도움을 받아 모든 평가 표본에 사람이 세심하게 주석을 붙였다. 범용 및 도메인 특화 MLLM을 평가한 결과, 대형 SAR 장면 전체를 이해하고 작은 대상을 정확히 인식하는 데 여전히 어려움이 있었다. 대형 SAR 장면 전체를 더 잘 이해하는 MLLM 연구를 지원하기 위해 XLSAR-Bench를 공개했다.
원문 초록
The rapid development of multimodal large language models (MLLMs) has highlighted the need for comprehensive benchmarks to assess their capabilities and limitations in remote sensing (RS). However, evaluating MLLMs in large-size synthetic aperture radar (SAR) scenarios remains challenging, as understanding complete scenes requires both global semantic interpretation and fine-grained target perception. Existing SAR benchmarks predominantly rely on small image patches, limiting their ability to assess these capabilities jointly. To address these limitations, we present XLSAR-Bench, a comprehensive benchmark for evaluating the perception and reasoning capabilities of MLLMs in large-scene SAR imagery. XLSAR-Bench comprises 405 images with an average size of 7153$\times$7153 pixels, ten tasks spanning visual question answering, visual grounding, and detailed image captioning, with all evaluation samples meticulously annotated manually, assisted by a semi-automatic captioner. Experimental results from general-purpose and domain-specific MLLMs reveal persistent challenges in understanding large SAR scenes and accurately perceiving small targets. We have open-sourced XLSAR-Bench to support further research in developing more powerful MLLMs for complete large SAR scenes.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19364v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.