M3GA-Wild: 산림 환경에서의 멀티모달 멀티세션 지상-항공 장소 인식을 위한 대규모 데이터셋 및 벤치마크
M3GA-Wild: A Large-Scale Dataset and Benchmark for Multi-Modal Multi-session Ground-to-Aerial Place Recognition in Forests
한국어 초록
본 논문에서는 산림 환경에서의 멀티모달(multi-modal), 멀티세션(multi-session) 지상-항공 장소 인식(ground-to-aerial place recognition)을 위한 최초의 벤치마크인 M3GA-Wild를 제시한다. M3GA-Wild는 기존의 산림 위치 추정(localization) 데이터셋을 통합 및 확장하여, 36km에 달하는 지상 주행 경로에서 동기화된 RGB 영상 및 LiDAR, 370헥타르를 포괄하는 정렬된 고해상도 항공 영상 및 다중 고도 LiDAR, 그리고 정밀한 평가를 위한 정확한 지리 참조(geo-referenced) 6-DoF 포즈를 제공하는 포괄적인 벤치마크이다. M3GA-Wild는 다양한 시점, 차폐, 환경 조건을 지닌 다채로운 산림 장면을 포착하여 시각(visual), LiDAR, 교차 모달(cross-modal) 및 멀티모달 방법론에 대한 체계적인 평가를 가능하게 한다. 기준선(baseline) 실험 결과에 따르면 극심한 시점 차이가 존재하는 상황에서 LiDAR 기반 접근법이 비전 전용 방법보다 성능이 현저히 우수했던 반면, 현재의 멀티모달 융합 전략은 미흡한 교차 모달 정렬로 인해 이득이 제한적인 것으로 나타났다. 또한, M3GA-Wild는 항공 RGB 영상과 지리 참조된 항공 LiDAR를 결합함으로써 산림 영상으로부터 3D 기하 정보를 얻는 저비용 원천으로서의 단안 깊이 추정(monocular depth estimation) 기반 파운데이션 모델(foundation model) 평가를 가능하게 하며, 초기 실험을 통해 현재 방법들의 한계를 밝혀냈다. 이러한 결과는 모달리티 불일치 및 극심한 도메인 격차(domain gap)를 포함한 크로스 플랫폼 위치 추정의 핵심 과제들을 부각한다. M3GA-Wild는 비정형 자연 환경에서의 강건한 멀티모달 위치 추정 및 장기 자율성을 위한 연구를 지원하는 새로운 벤치마크를 정립한다. 데이터셋과 코드는 논문 채택 시 공개될 예정이다.
원문 초록
We present M3GA-Wild, the first benchmark for multi-modal, multi-session ground-to-aerial place recognition in forests. M3GA-Wild unifies and extends existing forest localisation datasets, providing a holistic benchmark with synchronised RGB imagery and LiDAR from ground traversals spanning 36 km, aligned high-resolution aerial imagery and multi-altitude LiDAR covering 370 hectares, and accurate geo-referenced 6-DoF poses for precise evaluation. M3GA-Wild captures diverse forest scenes with varying viewpoints, occlusion, and environmental conditions, enabling systematic evaluation of visual, LiDAR, cross-modal, and multi-modal methods. Baseline experiments show that LiDAR-based approaches significantly outperform vision-only methods under severe viewpoint differences, while current multi-modal fusion strategies yield limited gains due to poor cross-modal alignment. By pairing aerial RGB imagery with geo-referenced aerial LiDAR, M3GA-Wild also enables evaluation of foundation models for monocular depth estimation as a cheap source of 3D geometry from forest imagery, with initial experiments revealing shortfalls of current methods. These results highlight key challenges in cross-platform localisation, including modality misalignment and severe domain gaps. M3GA-Wild establishes a new benchmark to support research in robust multi-modal localisation and long-term autonomy in unstructured natural environments. The dataset and code will be available upon acceptance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23003v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SatFix: 단일 경사 영상 기반 위성 지도 내 무인기(UAV) 절대 시각적 위치 추정
SatFix: Absolute Visual Localization of UAVs in Satellite Maps from a Single Oblique Image
본 논문에서는 지리 참조된 위성 영역 내에서 단일 경사 영상 또는 짧은 다시점 클립을 통해 연속적인 지도 위치와 관측 방향(heading)을 복원하는 절대 미터 단위 무인기(UAV) 위치 추정(localization)을 연구합니다. 기존의 크로스 뷰 지리적 위치 추정 방법들은 갤러리에서 가장 유사한 위성 타일을 검색하여 재현율@K(Recall@K)를 보고하지만, 이러한 검색은 갤러리 샘플링에 의존하고 방향 추정치를 제공하지 못하며 연속 좌표 대신 타일 인덱스만을 반환합니다. 이에 따라 VGGT-$\Omega$를 기반으로 구축된 피드포워드 무인기-위성 위치 추정 프레임워크인 SatFix를 제안합니다. 위성 격자 특징은 무인기의 시각적 단서를 집약하는 쿼리 역할을 하며, 두 개의 경량 헤드가 위성 지도 좌표계에서 3자유도(3-DoF) 포즈인 연속적인 2D 위치와 방향을 회귀합니다. SatFix는 명시적인 3D 지도, 렌더링된 조감도 영상, 보조 센서 또는 테스트 시점의 포즈 정렬을 필요로 하지 않습니다. 단일 모델로 단일 시점 및 다시점 입력을 모두 지원하며, 다시점 학습 중에는 궤적 제약 조건이 활용됩니다. 미터 단위 평가를 위해 기존 University-1652 타일 대비 한 변의 길이가 최대 10.7배 길고(지면 면적 기준 약 114배) 원래 무인기 비행 경로에 대한 연속 위치 및 방향 라벨이 포함된 위성 영상을 재수집한 University-Metric을 도입합니다. 단일 무인기 시점 조건에서 SatFix는 테스트 프레임의 52.08%를 50 m 이내로, 17.34%를 10 m 이내로 위치를 추정하며, 중앙값 기준 위치 및 방향 오차는 각각 45.66 m와 $20.81^\circ$를 기록합니다. NVIDIA RTX 4090 기준 단일 시점 쿼리당 추론에는 0.1초 미만이 소요됩니다. 9개의 무인기 시점을 사용하면 중앙값 위치 오차는 21.96 m로, 중앙값 방향 오차는 $8.73^\circ$로 감소합니다. 파인튜닝된 VGGT-$\Omega$ 기준선과 비교했을 때, SatFix는 중앙값 위치 오차를 34.0% 줄이고 9개 시점 기준 중앙값 방향 오차를 $25.43^\circ$에서 $8.73^\circ$로 낮춥니다.
SCOPE-4D: 내시경 4D 기하학 파운데이션 모델
SCOPE-4D: Endoscopic 4D Geometry Foundation Models
기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.
공간적으로 그라운딩된 제스처 생성을 위한 벤치마크
A Benchmark for Spatially Grounded Gesture Generation
공유된 공간에서의 의사소통은 언어적 신호와 비언어적 신호가 얽혀 있으며, 지시 제스처(pointing gesture)는 언어를 환경(environment)에 고정합니다. 예를 들어 지시 대상(referent)을 지정하는 제스처가 없다면 "컵을 저기 위에 놓아줘"라는 말은 해석할 수 없습니다. 그러나 생성된 제스처가 의도한 지시 대상을 가리키는지 평가하기 위한 공통 프레임워크는 존재하지 않으며, 분포 기반 지표(distributional metrics)는 잘못된 물체를 향한 제스처라 할지라도 자연스러워 보이기만 하면 보상(reward)을 부여합니다. 본 논문에서는 참값(ground-truth) 3D 지시 대상을 포함하는 자연스러운 VR 대화에서 수집된 약 2,000개의 지시 주석 클립, 대화 음성 내에서 언제, 어떻게, 어디를 가리켜야 할지 시스템이 결정해야 하는 태스크, 그리고 시간적 정렬(temporal alignment), 공간적 그라운딩(spatial grounding), 인지된 자연스러움을 분리하는 프로토콜로 구성된 공간적으로 그라운딩된 제스처 생성 벤치마크를 소개합니다. 또한 플로우 매칭(flow-matching) 기준선(baseline)인 MM-Conv-Flow를 제공합니다. 이를 독립적인 검색 기반 시스템 및 캡처된 사람의 움직임과 함께 평가한 결과, 기하학적 그라운딩은 인지된 자연스러움의 향상 없이도 사람의 지시를 능가할 수 있음을 발견했으며, 이는 참조적 제스처 품질이 분리된 차원을 따라 측정되어야 함을 보여줍니다.
적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습
Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis
본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io
AiSearch: VLM을 활용한 대화형 멀티모달 검색
AiSearch: Interactive Multi-Modal Search with VLMs
현대의 정보 검색(retrieval) 시스템은 자동화되는 동시에 사용자가 실시간으로 결과를 검색하고 개선할 수 있는 대화형(interactive) 특성을 갖추어야 합니다. 본 논문에서는 이미지 및 비디오에 대한 자연어 검색을 위해 비전-언어 모델(VLM)의 제로샷(zero-shot) 역량을 활용하는 유연한 멀티모달 검색 프레임워크인 AiSearch를 제시합니다. AiSearch는 사용자의 의도에 맞게 결과를 맞춤화하기 위한 사용자 피드백 기반의 대화형 검색 정교화를 지원하며, 여러 VLM 전반에 걸친 시각적 벤치마킹을 지원하여 사용자가 작업에 가장 적합한 모델을 선택할 수 있도록 합니다.
Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성
Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models
Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.