arXiv:2611.20787v1 cs.CV

PhaseCLIP: 원격탐사 퓨샷 분류를 위한 비전-언어 모델의 위상 인식 주파수 영역 적응

PhaseCLIP: Phase-Aware Frequency-Domain Adaptation of Vision-Language Models for Few-Shot Remote-Sensing Classification

Mehmet Sergen Catal, Abdurrahman Gumus, Mehmet Z\"ubeyir \"Unl\"u

제출 2026-11-17

한국어 초록

원격탐사(RS) 영상의 장면 분류는 상공에서 촬영한 이미지에 의미 범주를 부여하는 과제다. 레이블을 붙이려면 전문가의 해석이 필요하고 한 센서나 지역의 레이블을 다른 곳에 적용하기 어려워, 실제로는 레이블이 있는 예시 몇 개만으로 분류해야 하는 경우가 많다. 최근에는 학습한 프롬프트나 특징 어댑터로 CLIP 같은 비전-언어 모델(VLM)을 적응시켜 성능을 높였다. 다만 이런 방법은 공간 영역에서만 표현을 구성한다. 원격탐사 장면에는 주기적인 질감과 규칙적인 기하가 많이 나타난다. 푸리에 스펙트럼은 이를 질감과 대비 통계량을 담는 진폭 성분, 공간 구조를 담는 위상 성분으로 간결하게 나타낸다. 기존 VLM의 주파수 영역 적응은 진폭만 쓰거나 진폭과 위상을 나누지 않아 구조 성분을 활용하지 못한다. 본 연구는 위상을 처리할 수 있는 스펙트럼 모듈과 특징 게이팅 모듈을 가중치가 고정된 CLIP 시각 인코더에 넣고 전체 매개변수의 1.30%만 학습하는 PhaseCLIP을 제안한다. 진폭과 위상 경로의 매개변수 배치가 같으므로, 단일 가중치 집합을 위상에서 학습해 진폭 경로에 그대로 옮긴다. 두 단계를 사용하지만 가중치 수는 늘지 않는다. EuroSAT, PatternNet, UC Merced, LSRS, RSSCN7의 공개 원격탐사 데이터셋 다섯 개에서 동일한 평가 절차로 기준선 여덟 개와 비교했다. PhaseCLIP의 평균 정확도는 84.28%였으며, 데이터셋과 샷 수의 30개 조합 중 23개에서 가장 높은 성능을 냈다. 위상의 기여도는 전체에서 1.93포인트, 가장 어려운 데이터셋에서는 4.36포인트였다. 모듈은 이미지 패치와 트랜스포머 토큰의 스펙트럼을 처리하고 텍스트 인코더는 그대로 둔다. 따라서 다른 원격탐사 센서와 과제는 물론, 범주를 구별하는 근거가 공간 구조에 들어 있는 다른 영역으로도 확장할 수 있다.

원문 초록

Remote-sensing (RS) image scene classification aims to assign a semantic category to an overhead image, and in practice must often do so from only a handful of labelled examples, since annotation requires expert interpretation and the resulting labels transfer poorly across sensors and regions. Recent progress has come from adapting vision-language models (VLMs) such as CLIP, through learned prompts or feature adapters. Although effective, these methods construct their representation entirely in the spatial domain. RS scenes are dominated by periodic texture and regular geometry, which the Fourier spectrum describes compactly through an amplitude component, carrying texture and contrast statistics, and a phase component, carrying spatial structure. Existing frequency-domain adaptation of VLMs either exploits amplitude alone or does not separate amplitude from phase, leaving the structural component unused. In this article, we propose PhaseCLIP, which inserts phase-capable spectral modules and a feature-gating module into a frozen CLIP visual encoder and trains only 1.30% of its parameters. Because the amplitude and phase pathways share an identical parameter layout, a single weight set is learned on phase and transferred exactly to amplitude, giving a two-stage scheme that adds no parameters. Experiments on five public RS datasets, EuroSAT, PatternNet, UC Merced, LSRS and RSSCN7, against eight baselines under a matched protocol, show that PhaseCLIP attains 84.28% mean accuracy and is the best method in 23 of 30 dataset-by-shot cells, with phase contributing 1.93 points overall and 4.36 points on the most difficult dataset. Because the modules act on the spectrum of image patches and transformer tokens and leave the text encoder untouched, the approach can be extended to other RS sensors and tasks, and to other domains in which class evidence lies in spatial structure.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20787v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.