PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.14925v3cs.CV

무료 기하학적 사전 정보로서의 도로 지도: GeoFuse를 활용한 날씨 불변 드론 위치 추정

Road Maps as Free Geometric Priors: Weather-Invariant Drone Geo-Localization with GeoFuse

드론 시점 위치 추정(drone-view geo-localization)은 악천후(예: 비, 눈, 안개) 환경에서 촬영되는 경우가 많은 쿼리 드론 이미지를 위치 태그가 지정된 위성 이미지 갤러리와 매칭하는 것을 목표로 합니다. 노이즈, 시정 저하, 부분 가림과 같은 드론 시점에서의 날씨 유발 품질 저하는 고유한 시점 간(cross-view) 도메인 격차를 크게 악화시킵니다. 기존 방법들은 주로 날씨 특화 아키텍처나 데이터 증강에 의존해 왔지만, 추가 비용이 거의 들지 않으면서 본질적으로 날씨에 불변인 강력한 기하학적 배치 단서(예: 도로망 및 건물 윤곽)를 제공하는 손쉽게 활용 가능한 모달리티인 도로 지도 데이터를 대체로 간과해 왔습니다. 본 논문에서는 정밀하게 정렬된 도로 지도 타일을 위성 영상과 통합하여 더욱 변별력 있고 날씨에 견고한 표현을 생성하는 교차 모달 융합 프레임워크인 GeoFuse를 소개합니다. 먼저 기존 University-1652 및 DenseUAV 벤치마크를 지리적으로 정렬된 도로 지도로 증강하여 기상 변화에 강건한 구조적 사전 정보를 제공합니다. 이를 바탕으로 토큰(token) 수준 및 채널 수준 상호작용을 통해 위성과 도로 지도 특징을 결합하는 유연한 융합 모듈을 제안하며, 인스턴스별로 모달리티 기여도를 적응적으로 가중하는 경량 동적 게이팅 메커니즘을 적용합니다. 마지막으로, 날씨로 인해 품질이 저하된 드론 특징과 융합된 위성-도로 지도 표현 간의 강건한 정렬을 촉진하기 위해 클래스 수준 시점 간 대조 학습을 적용합니다. 다양한 날씨 조건에서의 광범위한 실험을 통해 GeoFuse가 기존 SOTA 방법들을 일관되게 능가하며, University-1652 및 DenseUAV 벤치마크에서 각각 +3.46% 및 +23.18%의 Recall@1 재현율 정확도 향상을 달성함을 보여줍니다.

arXiv:2602.14929v2cs.CV

Wrivinder: 지상 이미지를 위성 영상에 지리 위치시키기 위한 공간 지능을 향하여

Wrivinder: Towards Spatial Intelligence for Geo-locating Ground Images onto Satellite Imagery

지상 수준 이미지를 지리 등록된(geo-registered) 위성 지도와 정렬하는 것은 매핑, 내비게이션, 상황 인식에 매우 중요하지만, 시점 차이가 크거나 GPS를 신뢰할 수 없는 경우에는 여전히 어려운 과제로 남아 있다. 본 논문에서는 여러 장의 지상 사진을 집계하여 일관된 3D 장면을 재구성하고 이를 상공 위성 이미지와 정렬하는 제로샷(zero-shot), 기하학 기반 프레임워크인 Wrivinder를 소개한다. Wrivinder는 SfM(Structure-from-Motion) 재구성, 3D 가우시안 스플래팅(3D Gaussian Splatting), 의미론적 그라운딩(semantic grounding), 단안(monocular) 깊이 기반 거리 단서를 결합하여 안정적인 천정뷰(zenith-view) 렌더링을 생성하며, 이는 위성 컨텍스트와 직접 매칭되어 미터 단위로 정확한 카메라 지오로케이션(geo-localization)을 가능하게 한다. 적합한 벤치마크가 부재한 이 과제에 대한 체계적인 평가를 지원하기 위해, 다양한 야외 환경에서 다시점(multi-view) 지상 이미지와 지리 등록된 위성 타일을 연결한 큐레이션 데이터셋인 MC-Sat도 함께 공개한다. Wrivinder와 MC-Sat은 함께 짝지어진(paired) 지도 없이 기하학 중심의 교차 뷰 정렬을 연구하기 위한 최초의 포괄적인 기준선과 테스트베드를 제공한다. 제로샷 실험에서 Wrivinder는 밀집 장면과 광역 장면 모두에서 30m 미만의 지오로케이션 정확도를 달성하여, 강건한 지상-위성 로컬라이제이션을 위한 기하학 기반 집계의 가능성을 보여준다.

arXiv:2607.19951v1cs.CV

OffNadirLoc: 대규모 오프-네이더(off-nadir) 시점에서의 도전적인 UAV-위성 지오로컬라이제이션(geo-localization)을 위한 벤치마크 및 프레임워크

OffNadirLoc: Benchmark and Framework for Challenging UAV-to-Satellite Geo-Localization under Large Off-Nadir Views

UAV와 위성 영상 간 교차 시점 지오로컬라이제이션(geo-localization)은 근본적이면서도 매우 어려운 과제로 남아 있으며, 특히 급격한 원근 왜곡, 가림(occlusion), 외관 차이(appearance gap)가 발생하는 대규모 오프-네이더(off-nadir) 시점에서 더욱 그렇다. 기존 벤치마크와 방법들은 주로 근-네이더(near-nadir) 시나리오에 초점을 맞추며, 구조적 장면 이해와 도메인 내 관계 제약의 중요성을 종종 간과하여 실제 배포 환경에서의 성능을 제한한다. 본 연구에서는 대규모 오프-네이더 UAV-위성 지오로컬라이제이션을 위한 새로운 벤치마크인 OffNadirLoc을 제안한다. 오프-네이더 시점이 제기하는 고유한 과제를 해결하기 위해, 구조 인식 문맥 가중 메커니즘을 통해 신뢰할 수 있는 지역 특징을 동적으로 강조하고 모호하거나 반복적인 영역을 억제하는 프레임워크인 ONLoc을 추가로 제안한다. 또한 하나의 위성 영상과 여러 시점에서 촬영된 대응 UAV 영상을 하나의 응집적인 의미 그룹으로 취급하는 시점 일관(view-coherent) 학습 전략을 설계한다. 이 집합 수준 지도는 모델이 시점 불변적이고 판별적인 특징을 학습하도록 하여, 기존의 쌍wise 대조 학습(pairwise contrastive learning)보다 다중 시점 일관성을 포착하는 데 더 효과적이다. OffNadirLoc 벤치마크와 4개의 근-네이더 데이터셋에 대한 광범위한 실험을 통해, 우리 방법이 최신(state-of-the-art) 접근법을 일관되게 능가하며 추가 학습 없이 보지 못한 데이터셋에 대해서도 강한 제로샷(zero-shot) 일반화를 보임을 보여준다. 코드는 https://montalario.github.io/offnadirloc/ 에서 공개될 예정이다.

arXiv:2607.09057v1cs.CV

STEAM: 탄력적 매칭과 적응형 정제를 통한 안정적 자기학습

STEAM: Stable Self-Training with Elastic Matching and Adaptive Purification

교차 뷰 지오-로컬라이제이션(Cross-view geo-localization, CVGL)은 드론 뷰 이미지와 위성 뷰 이미지를 매칭하여 GPS 없는 위치 추정을 달성하는 것을 목표로 한다. 기존의 지도 학습 방법은 대규모로 수동 주석된 교차 뷰 이미지 쌍에 의존하기 때문에 비용이 많이 들고 확장이 어렵다. 반면 기존의 비지도 학습 방법은 주로 생성 모델이나 클러스터링 기반의 단계별 최적화에 의존하는데, 이는 분포 바이어스와 노이즈가 많은 의사 레이블(pseudo-label)의 누적에 취약하다. 이러한 한계를 해결하기 위해, 우리는 실제 드론 및 위성 이미지에 대해 직접 자기학습(self-training)을 수행하는 엔드-투-엔드 비지도 교차 뷰 지오-로컬라이제이션 프레임워크인 STEAM(Stable Self-Training with Elastic Matching and Adaptive Purification)을 제안한다. 구체적으로, 제안된 Stable Spatial-Aware Module은 특징(feature) 표현의 안정성을 향상시키고, Elastic Matching은 고품질의 교차 뷰 의사 레이블을 발굴하며, Adaptive Purification은 자기학습 과정 전반에 걸쳐 신뢰할 수 있는 의사 레이블 저장소를 동적으로 유지한다. University-1652 및 SUES-200 벤치마크에 대한 광범위한 실험을 통해, STEAM이 기존의 모든 비지도 방법 중 최고 수준의 성능을 달성하고 지도 학습 방법과 비교 가능한 성능을 제공함을 입증하여, 제안된 프레임워크의 효과성과 우수성을 검증하였다. 소스 코드는 https://github.com/wsx-heu/STEAM.git 에서 확인할 수 있다.