PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12284v1cs.CV

GeoSEAN: ASEAN 지역을 위한 설명 가능한 국가 수준 이미지 지리위치 추정

GeoSEAN: Explainable Country-Level Image Geolocation for ASEAN Regions

이미지 지리위치 추정(image geolocation)은 시각적 콘텐츠만으로 이미지의 지리적 출처를 추론하는 것을 목표로 한다. 그러나 이 과업은 도시, 도로변, 건축, 환경적 특성이 유사한 국가들이 공유하는 지역에서는 여전히 어렵다. 기존의 많은 지리위치 추정 모델은 좌표 수준 예측이나 분류(classification) 성능에 초점을 맞추면서, 시각적 증거가 위치 예측에 어떻게 기여하는지에 대한 통찰은 제한적으로 제공한다. 본 연구는 11개 ASEAN 국가를 위한 설명 가능한 국가 수준 이미지 지리위치 추정 파이프라인을 제시한다. 먼저 GeoGuessr 스타일 소스, Google Images, 추가 도로 수준(street level) 영상에서 4,850장의 이미지를 수집하였다. 이어서 이 데이터셋(dataset)에 대해 세 가지 접근법을 평가하였다: CLIP 제로샷(zero-shot) 분류, LightGBM 분류기, MLP 분류기. MLP가 최고의 테스트 성능을 달성하여 정확도와 F1 점수 85.91%를 기록하였다. 설명 가능성(explainability)을 위해 MLP 분류기가 생성한 예측을 사후(post hoc) 분석하였으며, CLIP 어텐션(attention) 롤아웃(rollout), 원본 이미지에 대한 YOLO26 객체 검출(object detection), Energy Based Pointing Game(EBPG) 겹침(overlap) 지표를 사용하였다. 객체 수준 분석에 따르면, 자주 검출되는 객체가 반드시 가장 높은 어텐션 밀도와 연관되지는 않으며, 이는 객체 빈도와 어텐션 기반 시각적 증거가 장면의 서로 다른 측면을 포착함을 시사한다. 이러한 결과는 제안된 모델(model)이 정확한 지역 이미지 지리위치 추정을 지원하면서, 예측의 근거가 되는 시각적 단서에 대한 객체 수준 검사를 가능하게 함을 보여준다.

arXiv:2606.07172v1cs.CV

비전-언어 모델에서 텍스트 감독이 지리공간 표현을 향상시킴

Textual Supervision Enhances Geospatial Representations in Vision-Language Models

지리공간 이해는 이미지 지리적 위치 추정 및 공간 추론과 같은 작업을 위한 머신러닝 시스템 개발에 있어 중요하지만 아직 탐구되지 않은 차원입니다. 본 연구에서는 비전 전용 아키텍처(예: ViT), 비전-언어 모델(예: CLIP), 대규모 멀티모달 기반 모델(예: LLaVA, Qwen, Gemma)의 세 가지 모델 계열이 학습한 지리공간 표현을 분석합니다. 지역화 가능성(localizability) 정도에 따라 그룹화된 사람, 랜드마크 및 일상적인 물체를 포함한 이미지 클러스터에 걸쳐 평가한 결과, 공간 정확도에 있어 체계적인 격차가 존재함을 밝혀내었으며, 텍스트 감독이 지리공간 표현의 학습을 향상시킴을 확인했습니다. 이러한 발견은 공간 맥락을 인코딩하는 데 있어 언어가 효과적인 보완적 모달리티로서의 역할을 한다는 점과 지리공간 AI 발전을 위한 핵심 방향으로서 멀티모달 학습의 중요성을 시사합니다.