arXiv:2609.22834v1 cs.CV

SatOV: 원격 탐사 영상에서 학습이 필요 없는 개방형 어휘 분할을 위한 공간 사전 정보 복원

SatOV: Restoring Spatial Priors for Training-Free Open-Vocabulary Segmentation in Remote Sensing Imagery

Changhao Zhao, Linglin Zeng, Hai Liu

제출 2026-09-22

한국어 초록

원격 탐사 영상의 개방형 어휘 의미 분할(open-vocabulary semantic segmentation, OVS)은 원격 탐사 데이터의 공간적 특성에 대한 강한 일반화와 적응을 요구하는 어려운 픽셀 수준 과제이다. 기존의 비전-언어 파운데이션 모델은 일반 도메인에서는 우수한 성능을 보이지만, 이미지 수준 분류 설계로 인해 고해상도 원격 탐사 분할에 필요한 공간 사전 정보(spatial priors)가 약화된다. 즉, 구조적인 공간적 관계는 깊은 특징(feature) 변환 과정에서 저하되고, 미세한 공간적 세부 정보는 다운샘플링 과정에서 손실된다. 이러한 상호 보완적인 결함을 해결하기 위해, 우리는 표현(representation) 파이프라인의 두 단계에서 공간 사전 정보를 복원하는, 학습이 필요 없는(training-free) 원격 탐사 개방형 어휘 분할 프레임워크인 SatOV를 제안한다. 구체적으로, 잔차 QQ 어텐션(Residual QQ Attention, ResQQ)은 CLIP의 중간 층(layer)에서 Query-Key 셀프 어텐션을 추출하고, 이를 잔차 결합(residual combination)을 통해 마지막 층의 Query-Query 어텐션과 융합함으로써 마지막 층 표현에 의해 억제된 구조적 공간 사전 정보를 복원한다. 공간적으로 변조된 업샘플링(Spatially Modulated Upsampling, SatUp)은 원본 고해상도 RGB 이미지를 공간적 안내(spatial guidance)로 사용하며, 공간 특징 변조와 안내된 크로스 어텐션을 결합하여 픽셀 수준의 텍스처와 경계를 재구성한다. DOTA, UDD, LoveDA, Vaihingen에 대한 광범위한 실험을 통해 SatOV가 학습이 필요 없는 OVS를 일관되게 개선하며, 최신(state-of-the-art) 기법들과 비교해 경쟁력 있는 정량적 및 정성적 결과를 달성함을 보인다. 이러한 결과는 원격 탐사 개방형 어휘 분할에서 표현 단계와 공간 해상도 단계 모두에서 공간 사전 정보를 복원하는 것의 효과를 입증한다.

원문 초록

Open-vocabulary semantic segmentation (OVS) of remote sensing imagery is a challenging pixel-level task requiring strong generalization and adaptation to the spatial characteristics of remote sensing data. Although existing vision-language foundation models perform well in general domains, their image-level classification design weakens the spatial priors needed for high-resolution remote sensing segmentation: structural spatial relations are degraded during deep feature transformation, and fine-grained spatial details are lost during downsampling. To address these complementary deficiencies, we propose SatOV, a training-free framework for open-vocabulary remote sensing segmentation that restores spatial priors at two stages of the representation pipeline. Specifically, Residual QQ Attention (ResQQ) extracts Query-Key self-attention from an intermediate CLIP layer and fuses it with final-layer Query-Query attention via a residual combination, restoring structural spatial priors suppressed by the final-layer representation. Spatially Modulated Upsampling (SatUp) uses the original high-resolution RGB image as spatial guidance, combining spatial feature modulation with guided cross-attention to reconstruct pixel-level textures and boundaries. Extensive experiments on DOTA, UDD, LoveDA, and Vaihingen show that SatOV consistently improves training-free OVS and achieves competitive quantitative and qualitative results against state-of-the-art methods. These results validate the effectiveness of restoring spatial priors at both the representation and spatial-resolution stages for remote sensing open-vocabulary segmentation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22834v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28360v1cs.CV공통 태그 Semantic Segmentation, Zero-Shot Learning, Scene Understanding

고해상도 Depth와 초저해상도 RGB를 활용한 프라이버시 보존 시맨틱 세그멘테이션

Privacy-Preserving Semantic Segmentation from High-Resolution Depth and Ultra-Low-Resolution RGB

모바일 로봇이 일상 환경에 점차 융합됨에 따라, 탑재된 온보드 카메라로 인해 발생하는 프라이버시 위험이 커지는 우려로 부각되고 있습니다. 초저해상도(ULR) RGB는 원천적으로 시각적 프라이버시 노출을 완화할 수 있으나, ULR 외형 정보만으로는 의미론적 및 공간적 이해가 크게 제한됩니다. 이에 따라 본 논문에서는 고해상도(HR) depth와 ULR RGB를 결합하여 세밀한 시각 정보는 제한하면서도 조밀한 기하학적 구조는 보존하는 프라이버시 보존형 비대칭 센싱 설정을 도입합니다. HR depth와 ULR RGB 간의 극심한 정보 불균형을 해결하기 위해, HR 기하학 정보를 활용하여 시맨틱 지향적 RGB 재구성 및 RGB-D 세그멘테이션을 유도하는 결합형 2D 프레임워크를 제안합니다. 신뢰성 높은 프레임 단위 예측에도 불구하고, 비대칭 HR depth-ULR RGB 설정에서는 일관된 씬(scene) 수준의 이해가 여전히 어렵습니다. 이에 따라 3D 세그멘테이션을 위해 2D 시맨틱 특징을 통합하는 엔드투엔드(end-to-end) 2D-to-3D 파이프라인을 개발합니다. ScanNet 기반 실험 결과, 제안하는 방법은 프라이버시 보존 접근법 중 최고의 2D 및 3D 세그멘테이션 성능을 달성하며 SUN RGB-D 및 SceneNN에 대해 가장 강력한 제로샷(zero-shot) 전이 성능을 보여줍니다. 프라이버시 복구 가능성 분석을 통해 제안된 HR depth-ULR RGB 입력이 민감한 데이터의 복구 가능성을 낮춤을 확인하였으며, 실제 로봇 실험을 통해 생성된 3D 시맨틱이 객체 목표 내비게이션(object-goal navigation)에 유용함을 입증합니다.

arXiv:2609.24825v1cs.CV공통 태그 Semantic Segmentation, Zero-Shot Learning, Scene Understanding

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.