이미지 분류를 위한 비전-언어 모델의 준지도 적응
Semi-Supervised Adaptation of Vision-Language Models for Image Classification
한국어 초록
CLIP과 같은 비전-언어(vision-language) 모델은 자연 이미지를 처리하는 데 있어 상당한 잠재력을 보여주었으나, 위성 이미지의 고유한 특성으로 인해 성능이 제한되는 경우가 많습니다. 매개변수 효율적 적응(parameter-efficient adaptation) 기법들이 존재하지만, 주석이 달린 샘플의 부족으로 인해 그 효과가 제한되는 일이 빈번합니다. 본 레터에서는 장면 분류에서 재귀적 라벨 마이닝(recursive label mining)을 위해 설계된 준지도(semi-supervised) 프레임워크인 Self-Evolutionary CLIP(SE-CLIP)을 제안합니다. 이 접근 방식은 소수의 주석 달린 시드(seed)를 통한 초기 웜업(warm-up)에 이어 라벨이 지정되지 않은 풀(pool)에서 신뢰도 높은 샘플을 반복적으로 식별하는 재귀적 발견 단계로 이루어진 2단계 파이프라인을 따릅니다. 진화하는 서포트 세트(support set)의 무결성을 유지하기 위해, 모델이 쉽게 학습되는 범주에 지배되는 것을 방지하는 클래스 균형 선택 전략을 채택합니다. UCM 및 NWPU 벤치마크에서의 결과는 SE-CLIP이 기존 준지도 접근 방식을 크게 능가함을 보여줍니다. 이 프레임워크는 최소한의 인간 개입으로 원격 탐사(remote sensing) 영역에 VLM을 적응시키기 위한 실행 가능한 설루션을 제공합니다.
원문 초록
Vision-language models like CLIP have shown sig- nificant potential in handling natural images, yet their perfor- mance is often limited by the distinct characteristics of satellite imagery. While parameter-efficient adaptation techniques exist, their efficacy is frequently limited by the scarcity of annotated samples. In this letter, we propose Self-Evolutionary CLIP (SE- CLIP), a semi-supervised framework designed for recursive label mining in scene classification. The approach follows a dual-phase pipeline, where an initial warm-up on a few annotated seeds is followed by a recursive discovery phase that iteratively identifies high-confidence samples from unlabeled pools. To maintain the integrity of the evolving support set, we employ a class-balanced selection strategy that prevents the model from being dominated by easily learned categories. Results on the UCM and NWPU benchmarks indicate that SE-CLIP significantly outperforms existing semi-supervised approaches. The framework provides a viable solution for adapting VLMs to the remote sensing domain with minimal human intervention.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.25485v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.