VLM2GeoVec: 원격 탐사를 위한 범용 멀티모달 임베딩을 향하여
VLM2GeoVec: Toward Universal Multimodal Embeddings for Remote Sensing
위성 영상은 시점, 해상도, 스케일 변화, 그리고 작은 객체의 빈번한 존재라는 점에서 자연 이미지와 다르며, 영역 수준의 공간적 추론과 전체론적인 장면 이해를 동시에 요구합니다. 기존의 원격 탐사 방식은 파편화되어 있습니다. 듀얼 인코더 검색 모델(model)은 스케일 확장이 용이하지만 모달리티를 교차 배치(interleave)할 수 없는 반면, 생성형 어시스턴트는 그라운딩(grounding)을 지원하지만 검색에는 비효율적입니다. 벤치마크 역시 이러한 분할을 반영하고 있습니다. 교차 배치 평가는 주로 생성형 어시스턴트를 대상으로 하는 반면, 크로스 모달 검색 벤치마크는 듀얼 인코더를 대상으로 합니다. 이러한 격차를 해소하기 위해, 단일 랭킹 프로토콜 하에 21개 작업에 걸쳐 크로스 모달 및 교차 배치 검색을 평가하여 기존 검색뿐만 아니라 영역 및 지리 인식 능력에 대한 검색 모델의 종합적인 비교를 가능하게 하는 통합 원격 탐사 벤치마크인 RSMEB를 소개합니다. 강력한 참조 기준선(baseline)으로서, 이미지, 텍스트, 바운딩 박스, 지리 좌표 토큰(token)을 하나의 시퀀스로 묶고 대조 학습(training)을 통해 통합 임베딩(embedding)을 학습하는 원격 탐사 맞춤형 인스트럭션 조건부 단일 인코더 교차 배치 방식인 VLM2GeoVec을 제시합니다. RSMEB 전반에서 VLM2GeoVec은 제로샷(zero-shot) 환경의 기존 장면 분류(classification) 및 텍스트-이미지 검색에서 경쟁력을 유지하면서도, 영역-캡션 검색에서 26.6% P@1(+25%p), 지칭 표현(referring-expression) 검색에서 32.5%(+19%p), 의미론적 지리 인식 검색에서 17.8%(이전 최고치 대비 >3배)를 달성합니다. 제안된 제품군과 참조 기준선은 함께 평가를 표준화하고 확장 가능한 검색 및 영역/지리 인식 그라운딩을 위한 통합 임베더를 제공합니다. 코드, 모델 체크포인트 및 데이터는 https://github.com/emasa/VLM2GeoVec 에서 확인할 수 있습니다.