비전-언어 모델에서 텍스트 감독이 지리공간 표현을 향상시킴
Textual Supervision Enhances Geospatial Representations in Vision-Language Models
지리공간 이해는 이미지 지리적 위치 추정 및 공간 추론과 같은 작업을 위한 머신러닝 시스템 개발에 있어 중요하지만 아직 탐구되지 않은 차원입니다. 본 연구에서는 비전 전용 아키텍처(예: ViT), 비전-언어 모델(예: CLIP), 대규모 멀티모달 기반 모델(예: LLaVA, Qwen, Gemma)의 세 가지 모델 계열이 학습한 지리공간 표현을 분석합니다. 지역화 가능성(localizability) 정도에 따라 그룹화된 사람, 랜드마크 및 일상적인 물체를 포함한 이미지 클러스터에 걸쳐 평가한 결과, 공간 정확도에 있어 체계적인 격차가 존재함을 밝혀내었으며, 텍스트 감독이 지리공간 표현의 학습을 향상시킴을 확인했습니다. 이러한 발견은 공간 맥락을 인코딩하는 데 있어 언어가 효과적인 보완적 모달리티로서의 역할을 한다는 점과 지리공간 AI 발전을 위한 핵심 방향으로서 멀티모달 학습의 중요성을 시사합니다.