MetaSegNet: Metadata-collaborative Vision-Language Representation Learning for Semantic Segmentation of Remote Sensing Images
원문 초록
Semantic segmentation of remote sensing images plays a vital role in a wide range of Earth Observation applications, such as land use land cover mapping, environment monitoring, and sustainable development. Driven by rapid developments in artificial intelligence, deep learning (DL) has emerged as the mainstream for semantic segmentation and has achieved many breakthroughs in the field of remote sensing. However, most DL-based methods focus on unimodal visual data while ignoring rich multimodal information involved in the real world. Non-visual data, such as text, can gather extra knowledge from the real world, which can strengthen the interpretability, reliability, and generalization of visual models. Inspired by this, we propose a novel metadata-collaborative segmentation network (MetaSegNet) that applies vision-language representation learning for semantic segmentation of remote sensing images. Unlike the common model structure that only uses unimodal visual data, we extract the key characteristic (e.g. the climate zone) from freely available remote sensing image metadata and transfer it into geographic text prompts via the generic ChatGPT. Then, we construct an image encoder, a text encoder, and a crossmodal attention fusion subnetwork to extract the image and text feature and apply image-text interaction. Benefiting from such a design, the proposed MetaSegNet not only demonstrates superior generalization in zero-shot testing but also achieves competitive accuracy with the state-of-the-art semantic segmentation methods on the large-scale OpenEarthMap dataset (70.4% mIoU) and the Potsdam dataset (93.3% mean F1 score) as well as the LoveDA dataset (52.0% mIoU).
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FarSeg++: Foreground-Aware Relation Network for Geospatial Object Segmentation in High Spatial Resolution Remote Sensing Imagery
Class Attention Network for Semantic Segmentation of Remote Sensing Images
ViTok: PHI-S 및 마스크드 이미지 모델링을 활용한 AM-RADIO 스타일 다중 교사 지식 증류에서의 조밀한 의미론 개선
ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling
본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.
PAGER: 기하학적 및 관계적 증류를 통한 부분-전역 정렬
PAGER: Partial-to-global Alignment via Geometric and Relational Distillation
사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.
ZS-VCOS: Zero-Shot Outperforms Supervised Video Camouflaged Object Segmentation with Zero-Shot Method
CVAE-SM: A Conditional Variational Autoencoder with Style Modulation for Efficient Uncertainty Quantification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.