arXiv:2610.13553v1 cs.CV

크로스뷰 지오로컬라이제이션에서 뷰 변화에 대응하는 전체적 장면 레이아웃 학습

Learning Holistic Scene Layout against View Shifts in Cross-View Geo-Localization

Chao Yang, Songlian Li, Zhigang Tu

제출 2026-10-09

한국어 초록

크로스뷰 지오로컬라이제이션(cross-view geo-localization)은 시점 변화로 인한 극심한 외형 변화와 기하학적 왜곡 때문에 여전히 어려운 과제이다. 기존 방법들은 주로 판별적 특징(feature) 학습이나 명시적인 기하학적 정렬에 의존하지만, 중요한 관찰 하나를 간과하는 경우가 많다: 인간은 고립된 지역적(local) 시각적 단서에만 의존하기보다 여러 랜드마크의 공간적 맥락(spatial context)을 통합하여 장면을 매칭하는 경향이 있다는 것이다. 이에 착안하여, 우리는 특징 맵(feature map)을 네 개의 직교하는 방향을 따라 순회하며 각 공간적 위치에서 결과로 얻어진 방향별 표현(directional representation) 간의 상호작용을 모델링하는 공간 맥락 모델링(Spatial Context Modeling, SCM) 모듈을 제안한다. 상호 보완적인 방향별 관찰들을 집계함으로써, SCM은 더 풍부한 장면 레이아웃 표현을 구성한다. 신뢰할 수 있는 공간적 맥락은 견고한 시각적 특징에 의존하기 때문에, 우리는 주파수 영역(frequency domain)에서 안정적인 구조적 단서를 추출하는 고주파 정보 안내(High-Frequency Information Guidance, HFIG) 모듈을 도입한다. 외형 변화에 덜 민감한 에지(edge)와 윤곽(contour)을 강조함으로써, HFIG는 모델이 더 견고한 표현을 학습하도록 유도한다. 광범위한 실험을 통해 우리의 방법이 표준 크로스뷰 지오로컬라이제이션 벤치마크에서 경쟁력 있는 성능을 달성하면서도, 방향(orientation)을 알 수 없고 시야각(field of view, FoV)이 제한된 더 어려운 시나리오에서 강한 견고성을 보인다는 것을 입증한다.

원문 초록

Cross-view geo-localization remains challenging due to drastic appearance variations and geometric distortions caused by viewpoint changes. Existing methods primarily rely on discriminative feature learning or explicit geometric alignment, yet often overlook an important observation: humans tend to match scenes by integrating the spatial context of multiple landmarks rather than relying solely on isolated local visual cues. Inspired by this, we propose a Spatial Context Modeling (SCM) module, which traverses feature maps along four orthogonal directions and models interactions among the resulting directional representations at each spatial position. By aggregating complementary directional observations, SCM constructs richer scene layout representations. Since reliable spatial context depends on robust visual features, we introduce a High-Frequency Information Guidance (HFIG) module that extracts stable structural cues from the frequency domain. By emphasizing edges and contours that are less sensitive to appearance variations, HFIG encourages the model to learn more robust representations. Extensive experiments demonstrate that our method achieves competitive performance on standard cross-view geo-localization benchmarks while exhibiting strong robustness under more challenging scenarios with unknown orientations and limited fields of view (FoVs).

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13553v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13527v1cs.CV공통 태그 Representation Learning, Scene Understanding

S-Space: 멀티모달 언어 모델의 공간 워크스페이스 탐구

S-Space: Exploring Spatial Workspace in Multimodal Language Models

멀티모달 언어 모델(MLLM)은 유망한 공간 추론 능력을 보이지만, 이를 뒷받침하는 내부 메커니즘은 여전히 잘 이해되지 않고 있다. 우리는 S-Space를 발견했는데, 이는 객체 토큰 표현이 수평, 수직, 거리 축을 따라 연속적인 좌표를 인코딩하는 선형 표현 부분공간(subspace)이다. 우리는 객체 토큰 활성화에 대해 공간 응답 점수를 미분함으로써 이 축들을 식별했지만, S-Space는 특정 데이터나 프롬프트에 의해 유도된 것이 아니라 본질적인 것으로, 비공간적 질문 하에서도 판독 가능하다. 우리는 S-Space가 MLLM의 내부 공간 워크스페이스로 기능함을 보인다. 지각(perception)은 객체 위치를 이 공간에 인코딩하여, 정확한 공간 판단을 뒷받침하기 위해 직접 판독될 수 있는 공간 표현을 형성한다. 내부 추론은 관점 변화에 맞춰 이를 변환한다. 언어적 응답은 이를 선택적으로 접근하며, 이는 비공간적 응답은 대체로 보존하면서 공간 판단만을 변화시키는 인과적 개입(causal intervention)을 통해 입증된다. 사례 연구는 더 나아가 S-Space가 보이지 않는 개체 및 관찰자에게 위치를 할당하고, 물리적 방향과 추상적인 언어적 의미를 연결함을 보여주며, 이는 대규모 언어 학습의 능력과 한계를 동시에 시사한다. 마지막으로, 우리는 S-Space를 공간 추론 실패를 진단하는 도구로 사용한다. 방향 단어 판독은 기본 방위(cardinal) 참조 틀과 이미지 상대적 참조 틀 간의 체계적인 결합을 드러낸다. 더 중요하게는, 지각-연산 분해(perception-computation decomposition)는 핵심 병목 지점을 노출하는데, MLLM은 유능한 공간 표현을 형성할 수 있지만, 관점 변화에 걸쳐 신뢰성 있게 추론하는 데 필요한 공간적 변환에서는 부족함을 보인다.

arXiv:2610.13910v1cs.CL공통 태그 Representation Learning, Scene Understanding

VLM이 알고 있는 것을 파괴할 때: 공간 표상은 어휘 사전확률보다 낮아진다

When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors

비전-언어 모델(VLM)이 이미지를 분석하고 추론하는 능력이 점점 발전하고 있지만, 내부 표상이 이러한 추론에 필요한 구조화된 관계를 충실하게 인코딩하는지는 여전히 불분명합니다. 본 연구에서는 통제된 단일 개념 개입 상황에서 표상이 개념을 일관되게 인코딩하는지 테스트하는 지표인 EICS(Evaluation-Invariant Concept Stability)와 Visual Genome 씬 그래프에서 파생된 인과적으로 통제된 공간 섭동 벤치마크인 CASP-VL(Causally controlled Spatial Perturbations for Vision-Language models)을 소개합니다. 여러 VLM 아키텍처 전반에서 공간 관계는 어휘 정보보다 훨씬 덜 충실하게 표상되며, 동일한 모델이 구성성 벤치마크에서 우연 수준을 훨씬 웃도는 점수를 기록할 때도 마찬가지임을 발견했습니다. 추가 분석에 따르면 관계는 서술어 자체의 토큰(token)에서는 식별 가능하지만, [EOS] 토큰을 통하든 평균 풀링(pooling)을 통하든 문장이 전체 표상으로 집계될 때 손실되는 것으로 나타났습니다. 이러한 발견은 출력 기반 평가에서는 보이지 않는 체계적인 실패를 드러냅니다. 즉, VLM은 다운스트림에서 사용되는 표상에 자체 입력에 존재하는 관계 정보를 보존하지 못합니다.

arXiv:2610.02626v2cs.CV공통 태그 Representation Learning, Scene Understanding

미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론

Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination

비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.

arXiv:2610.10991v1cs.CV공통 태그 Representation Learning, Image Retrieval

세분화된 이미지 검색을 위한 영역 인지 CLS 토큰 증강

Region-Aware CLS Token Augmentation for Fine-Grained Image Retrieval

이미지 검색 방법은 종종 비전 트랜스포머의 [CLS] 토큰과 같이 이미지에서 추출된 단일 글로벌 의미 서술자(semantic descriptor)에 의존합니다. 그러나 이미지의 모든 의미 정보를 단일 서술자에 압축하려는 시도는 특히 세분화된(fine-grained) 검색 작업에서 다운스트림 검색 성능을 저하시킬 수 있습니다. 본 연구에서는 최신 비전 트랜스포머의 의미 토큰(글로벌 [CLS] 토큰 및 4개의 레지스터 토큰)을 신중하게 선택된 공간 토큰 집합으로 증강하여, 각 의미 토큰에 포착된 콘텐츠의 특성을 나타내는 공간 영역 표현을 포착하고자 합니다. 우리는 객체 및 부위 기반 표현을 창발적으로(emergently) 학습하는 레지스터 토큰이 포함된 DINOv2-reg 모델을 활용합니다. 각 "단서(cue)" 토큰([CLS] 및 각 레지스터 토큰)에 대해 "버디(buddy)" 이미지 패치 토큰을 찾고 N x N 패치 영역을 추출하여 일련의 국소화된 관심 영역(ROI) 토큰 집합을 생성합니다. 우리의 접근 방식은 외부 바운딩 박스나 현저성(saliency) 모듈 없이, 순수하게 의미 토큰을 공간 표현 영역과 매칭함으로써 중요한 관심 영역을 자동으로 포착합니다. 나아가 이러한 토큰들을 ColBERT에서 영감을 받은 다중 벡터 검색 프레임워크에 통합하여, 모든 패치 임베딩을 유지하는 막대한 저장 비용을 피하면서 토큰별 정렬(alignment) 메커니즘을 통한 세분화된 매칭을 가능하게 합니다. 광범위한 실험을 통해 우리는 다음을 발견했습니다: (1) 레지스터 토큰은 [CLS] 토큰을 보완할 수 있는 유용한 세분화된 세부 정보를 인코딩합니다. (2) 자동으로 풀링된 ROI 토큰은 세분화된 식별력을 더욱 향상시킵니다. (3) 소규모 토큰 집합을 사용한 다중 벡터 검색은 대규모 검색에서도 다루기 쉬운 수준을 유지하면서 DINOv2-reg 단일 벡터 기준선 대비 성능을 개선합니다. 코드는 https://github.com/IdhcbIan/Augmenting_CLS_with_ROI_tokens 에서 확인할 수 있습니다.

arXiv:2609.31698v2cs.CV공통 태그 Representation Learning, Image Retrieval

RPA: EEG 및 MEG 기반 이미지 검색을 위한 잔차 패치-토큰 어댑터

RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG

기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.

arXiv:2610.02697v1cs.RO공통 태그 Representation Learning, Scene Understanding

GeoScaffold: 효율적인 비전-언어 내비게이션을 위해 재구성을 통한 컴팩트 기하학적 잠재 표현 학습

GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation

최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.