arXiv:2610.11049v1 cs.CV

SatFix: 단일 경사 영상 기반 위성 지도 내 무인기(UAV) 절대 시각적 위치 추정

SatFix: Absolute Visual Localization of UAVs in Satellite Maps from a Single Oblique Image

Jiarui Zeng, Kun Shi, Chiman Vong, Zhedong Zheng

제출 2026-10-08

한국어 초록

본 논문에서는 지리 참조된 위성 영역 내에서 단일 경사 영상 또는 짧은 다시점 클립을 통해 연속적인 지도 위치와 관측 방향(heading)을 복원하는 절대 미터 단위 무인기(UAV) 위치 추정(localization)을 연구합니다. 기존의 크로스 뷰 지리적 위치 추정 방법들은 갤러리에서 가장 유사한 위성 타일을 검색하여 재현율@K(Recall@K)를 보고하지만, 이러한 검색은 갤러리 샘플링에 의존하고 방향 추정치를 제공하지 못하며 연속 좌표 대신 타일 인덱스만을 반환합니다. 이에 따라 VGGT-$\Omega$를 기반으로 구축된 피드포워드 무인기-위성 위치 추정 프레임워크인 SatFix를 제안합니다. 위성 격자 특징은 무인기의 시각적 단서를 집약하는 쿼리 역할을 하며, 두 개의 경량 헤드가 위성 지도 좌표계에서 3자유도(3-DoF) 포즈인 연속적인 2D 위치와 방향을 회귀합니다. SatFix는 명시적인 3D 지도, 렌더링된 조감도 영상, 보조 센서 또는 테스트 시점의 포즈 정렬을 필요로 하지 않습니다. 단일 모델로 단일 시점 및 다시점 입력을 모두 지원하며, 다시점 학습 중에는 궤적 제약 조건이 활용됩니다. 미터 단위 평가를 위해 기존 University-1652 타일 대비 한 변의 길이가 최대 10.7배 길고(지면 면적 기준 약 114배) 원래 무인기 비행 경로에 대한 연속 위치 및 방향 라벨이 포함된 위성 영상을 재수집한 University-Metric을 도입합니다. 단일 무인기 시점 조건에서 SatFix는 테스트 프레임의 52.08%를 50 m 이내로, 17.34%를 10 m 이내로 위치를 추정하며, 중앙값 기준 위치 및 방향 오차는 각각 45.66 m와 $20.81^\circ$를 기록합니다. NVIDIA RTX 4090 기준 단일 시점 쿼리당 추론에는 0.1초 미만이 소요됩니다. 9개의 무인기 시점을 사용하면 중앙값 위치 오차는 21.96 m로, 중앙값 방향 오차는 $8.73^\circ$로 감소합니다. 파인튜닝된 VGGT-$\Omega$ 기준선과 비교했을 때, SatFix는 중앙값 위치 오차를 34.0% 줄이고 9개 시점 기준 중앙값 방향 오차를 $25.43^\circ$에서 $8.73^\circ$로 낮춥니다.

원문 초록

We study absolute metric UAV localization within a provided geo-referenced satellite region, recovering continuous map position and viewing heading from a single oblique image or a short multi-view clip. Existing cross-view geo-localization methods retrieve the most similar satellite tile from a gallery and report Recall@K, but retrieval depends on gallery sampling, provides no heading estimate, and returns a tile index rather than a continuous coordinate. We propose SatFix, a feed-forward UAV--satellite localization framework built on VGGT-$Ω$. Satellite-grid features act as queries that aggregate UAV visual evidence, and two lightweight heads regress a 3-DoF pose in the satellite-map frame: continuous 2D position and heading. SatFix requires no explicit 3D map, rendered bird's-eye image, auxiliary sensor, or test-time pose alignment. A single model supports both single- and multi-view inputs, with trajectory constraints used during multi-view training. For metric evaluation, we introduce University-Metric, where satellite imagery is re-collected over a region up to 10.7$\times$ longer on a side (about 114$\times$ the ground area) than the original University-1652 tiles, with continuous position and heading labels for the original UAV tours. With one UAV view, SatFix localizes 52.08% of test frames within 50 m and 17.34% within 10 m, with median position and heading errors of 45.66 m and $20.81^\circ$, respectively. Inference takes under 0.1 s per single-view query on an NVIDIA RTX 4090. With nine UAV views, the median position error falls to 21.96 m and the median heading error to $8.73^\circ$. Compared with a fine-tuned VGGT-$Ω$ baseline, SatFix reduces median position error by 34.0% and nine-view median heading error from $25.43^\circ$ to $8.73^\circ$.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11049v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20116v1cs.CV공통 태그 Pose Estimation, Image Retrieval, Visual Localization

RIM: UAV 교차 도메인 전역 시각적 위치 추정을 위한 검색-내-매칭(Retrieval-In-Matching) 프레임워크

RIM: A Retrieval-In-Matching Framework for Cross-Domain Global Visual Localization of UAVs

원격 감지 참조 지도를 이용한 무인항공기(UAV)의 전역 시각적 위치 추정은 점점 더 많은 관심을 받고 있다. 그러나 UAV와 참조 영상 간의 촬영 시점 및 촬영 플랫폼 차이는 상당한 교차 도메인 외형 및 시점 변화를 유발하여, 견고한 6자유도(6-DoF) 자세 추정을 어렵게 한다. 우리는 위치, 고도, 방향에 걸쳐 Google 3D Tiles에서 UAV 시점의 참조 뷰를 샘플링하여 이러한 변화를 해결한다. 2단계 교차 도메인 미세조정 레시피는 자세가 유사한 양성(positive)과 지리적으로 먼 하드 네거티브(hard negative)를 사용하여 SALAD를 적응시키며, 국소 기하학적 일관성이 Top-K 후보를 재순위화한다. 또한 Retrieval-In-Matching(RIM)을 제안한다. 이는 적응된 DINOv2-B 검색기(retriever)를 고정하고, 그 토큰 필드를 얕은 VGG19 디테일 스트림과 함께 재사용하는 국소 디스크립터(local-descriptor) 디코더를 지식 증류(distillation)한다. 따라서 쿼리 측 DINOv2-B의 한 번의 순전파(forward)가 SALAD 검색과 국소 기술(local description) 모두에 사용되어, 두 번째 파운데이션 모델(foundation model) 백본을 제거하면서도 설계상 검색 디스크립터를 보존한다. RIM을 재구성된 EPFL Urbanscape와 자체 수집 Chang'an Park 데이터셋에서 제로샷(zero-shot)으로 평가했으며, 두 데이터셋 모두 학습 데이터와 지리적으로 분리되어 있다. RIM은 최근 10개 검색 기준선 계열을 능가한다. 전체 3D 거리 메트릭에서 25/50 m 기준으로, EPFL에서 SALAD 대비 Recall@1(재현율)을 8.55/13.77 퍼센트포인트, Park에서 4.45/8.94 포인트 향상시켰다. Top-K=5에서 검색, 후보 매칭, 견고한 기하학적 검증을 포함한 완전한 측정된 위치 추정 쿼리는 end-to-end로 67.9 ms가 소요된다: 가장 강력한 별도 sparse-matching 기준선보다 1.8배 빠르고 RoMa보다 40배 이상 빠르면서, 유사한 재순위화(re-ranking) 정확도를 달성한다. 이러한 결과는 GNSS가 어려운 환경에서 UAV 전역 시각적 위치 추정을 위한 효율적이고 배포 가능한 파이프라인을 확립한다.

arXiv:2610.03717v1cs.CV공통 태그 Pose Estimation, Visual Localization

적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습

Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis

본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io

arXiv:2609.23003v1cs.CV공통 태그 Pose Estimation, Image Retrieval

M3GA-Wild: 산림 환경에서의 멀티모달 멀티세션 지상-항공 장소 인식을 위한 대규모 데이터셋 및 벤치마크

M3GA-Wild: A Large-Scale Dataset and Benchmark for Multi-Modal Multi-session Ground-to-Aerial Place Recognition in Forests

본 논문에서는 산림 환경에서의 멀티모달(multi-modal), 멀티세션(multi-session) 지상-항공 장소 인식(ground-to-aerial place recognition)을 위한 최초의 벤치마크인 M3GA-Wild를 제시한다. M3GA-Wild는 기존의 산림 위치 추정(localization) 데이터셋을 통합 및 확장하여, 36km에 달하는 지상 주행 경로에서 동기화된 RGB 영상 및 LiDAR, 370헥타르를 포괄하는 정렬된 고해상도 항공 영상 및 다중 고도 LiDAR, 그리고 정밀한 평가를 위한 정확한 지리 참조(geo-referenced) 6-DoF 포즈를 제공하는 포괄적인 벤치마크이다. M3GA-Wild는 다양한 시점, 차폐, 환경 조건을 지닌 다채로운 산림 장면을 포착하여 시각(visual), LiDAR, 교차 모달(cross-modal) 및 멀티모달 방법론에 대한 체계적인 평가를 가능하게 한다. 기준선(baseline) 실험 결과에 따르면 극심한 시점 차이가 존재하는 상황에서 LiDAR 기반 접근법이 비전 전용 방법보다 성능이 현저히 우수했던 반면, 현재의 멀티모달 융합 전략은 미흡한 교차 모달 정렬로 인해 이득이 제한적인 것으로 나타났다. 또한, M3GA-Wild는 항공 RGB 영상과 지리 참조된 항공 LiDAR를 결합함으로써 산림 영상으로부터 3D 기하 정보를 얻는 저비용 원천으로서의 단안 깊이 추정(monocular depth estimation) 기반 파운데이션 모델(foundation model) 평가를 가능하게 하며, 초기 실험을 통해 현재 방법들의 한계를 밝혀냈다. 이러한 결과는 모달리티 불일치 및 극심한 도메인 격차(domain gap)를 포함한 크로스 플랫폼 위치 추정의 핵심 과제들을 부각한다. M3GA-Wild는 비정형 자연 환경에서의 강건한 멀티모달 위치 추정 및 장기 자율성을 위한 연구를 지원하는 새로운 벤치마크를 정립한다. 데이터셋과 코드는 논문 채택 시 공개될 예정이다.

arXiv:2607.22147v1cs.CV공통 태그 Pose Estimation, Visual Localization

신규 뷰 합성을 통한 에일리어싱·저텍스처 환경에서의 희소 시점 기반 시각적 재국소화

Visual Relocalization from Sparse Views in Aliased and Low-Texture Environments via Novel View Synthesis

행성형 지형과 같이 저텍스처, 지각적 에일리어싱(perceptual aliasing), 혹독한 조명, 그리고 전진 로버 이동과 제약 없는 주행 방향으로 인해 희소하고 겹침이 약한 시점(viewpoint)이 형성되는 환경에서는 시각적 국소화(visual localization)가 극히 어렵다. 이러한 조건에서 최신 image-to-image 및 image-to-map 매칭 파이프라인은 성능이 크게 저하된다. 본 연구에서는 3D Gaussian Splatting(3DGS)로 구축한 미분 가능한 맵 표현에 대해 카메라 포즈를 직접 추정함으로써, 고전적인 대응(correspondence) 기반 파이프라인과 다른 시각적 재국소화(visual relocalization) 방법을 제안한다. 핵심 기여는 광도(photometric) 손실과 기하(geometric) 손실을 결합한 기하 인식(geometry-aware) 학습 전략이며, 기하적 지도(supervision)는 MVS(multi-view stereo)와 LiDAR 깊이를 결합하여 최초로 제공된다. 이 공동 최적화는 기본 장면 기하에 더 잘 부합하는 3DGS 모델을 생성하며, 광도·기하 일관성을 향상시키고 더 견고하고 정확한 단일 이미지 6-DoF 포즈 추정으로 이어진다는 것을 보인다. 행성 유사(planetary-analog) 환경에서 수집한 데이터에 대한 광범위한 실험을 통해 접근법의 효과를 검증했으며, 어려운 조건에서 재국소화 정확도가 크게 향상됨을 보였다. 코드는 https://github.com/DLR-RM/multimodal-gsplat-relocalization 에서 제공된다.

arXiv:2607.19951v1cs.CV공통 태그 Image Retrieval, geo-localization

OffNadirLoc: 대규모 오프-네이더(off-nadir) 시점에서의 도전적인 UAV-위성 지오로컬라이제이션(geo-localization)을 위한 벤치마크 및 프레임워크

OffNadirLoc: Benchmark and Framework for Challenging UAV-to-Satellite Geo-Localization under Large Off-Nadir Views

UAV와 위성 영상 간 교차 시점 지오로컬라이제이션(geo-localization)은 근본적이면서도 매우 어려운 과제로 남아 있으며, 특히 급격한 원근 왜곡, 가림(occlusion), 외관 차이(appearance gap)가 발생하는 대규모 오프-네이더(off-nadir) 시점에서 더욱 그렇다. 기존 벤치마크와 방법들은 주로 근-네이더(near-nadir) 시나리오에 초점을 맞추며, 구조적 장면 이해와 도메인 내 관계 제약의 중요성을 종종 간과하여 실제 배포 환경에서의 성능을 제한한다. 본 연구에서는 대규모 오프-네이더 UAV-위성 지오로컬라이제이션을 위한 새로운 벤치마크인 OffNadirLoc을 제안한다. 오프-네이더 시점이 제기하는 고유한 과제를 해결하기 위해, 구조 인식 문맥 가중 메커니즘을 통해 신뢰할 수 있는 지역 특징을 동적으로 강조하고 모호하거나 반복적인 영역을 억제하는 프레임워크인 ONLoc을 추가로 제안한다. 또한 하나의 위성 영상과 여러 시점에서 촬영된 대응 UAV 영상을 하나의 응집적인 의미 그룹으로 취급하는 시점 일관(view-coherent) 학습 전략을 설계한다. 이 집합 수준 지도는 모델이 시점 불변적이고 판별적인 특징을 학습하도록 하여, 기존의 쌍wise 대조 학습(pairwise contrastive learning)보다 다중 시점 일관성을 포착하는 데 더 효과적이다. OffNadirLoc 벤치마크와 4개의 근-네이더 데이터셋에 대한 광범위한 실험을 통해, 우리 방법이 최신(state-of-the-art) 접근법을 일관되게 능가하며 추가 학습 없이 보지 못한 데이터셋에 대해서도 강한 제로샷(zero-shot) 일반화를 보임을 보여준다. 코드는 https://montalario.github.io/offnadirloc/ 에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.