원격 탐사 영상에서 향상된 퓨샷 객체 검출을 위한 확산 모델 기반 다양한 인스턴스 생성
Diverse Instance Generation via Diffusion Models for Enhanced Few-Shot Object Detection in Remote Sensing Images
한국어 초록
퓨샷 객체 검출(Few-shot object detection, FSOD)은 제한된 수의 레이블된 학습 샘플만으로 새로운 인스턴스를 검출하는 것을 목표로 하며, 이는 멸종 위기종 모니터링이나 재난 평가와 같은 수많은 원격 탐사 응용에서 특히 두드러지는 과제이다. 원격 탐사 영상(RSI)을 위한 기존 FSOD 방법들은 유망한 진전을 이루었으나, 인스턴스의 다양성이 제한적이라는 한계에서 여전히 벗어나지 못하고 있다. 이 문제를 해결하기 위해, 본 논문에서는 대규모 자연 이미지로 사전학습된 확산 모델(diffusion model)을 활용하여 다양한 원격 탐사 인스턴스를 합성함으로써 퓨샷 객체 검출기의 성능을 향상시킬 수 있는 새로운 프레임워크를 제안한다. 완전한 원격 탐사 이미지를 직접 합성하는 대신, 먼저 특화된 슬라이스-투-슬라이스(slice-to-slice) 모듈을 통해 인스턴스 수준의 슬라이스를 생성한 다음, 이 슬라이스를 전체 크기의 영상에 삽입하여 향상된 데이터 증강을 수행한다. 확산 모델을 원격 탐사 시나리오에 더욱 적합하게 적응시키기 위해, 원격 탐사 인스턴스 슬라이스를 의미 공간(semantic space)으로 역변환할 수 있는 클래스 비의존적(class-agnostic) 이미지 인버전(inversion) 모듈을 개발한다. 또한 합성된 이미지를 해당 클래스와 의미적으로 정렬하기 위해 대조 손실(contrastive loss)을 도입한다. 실험 결과, 제안한 방법은 여러 데이터셋과 다양한 접근법에 걸쳐 평균 4.4%의 성능 향상을 달성하였다. 어블레이션 실험은 정교하게 설계된 인버전 모듈이 FSOD 방법의 성능을 효과적으로 향상시킬 수 있으며, 의미적 대조 손실이 성능을 추가로 높일 수 있음을 보여준다.
원문 초록
Few-shot object detection (FSOD) aims to detect novel instances with only a limited number of labeled training samples, presenting a challenge that is particularly prominent in numerous remote sensing applications such as endangered species monitoring and disaster assessment. Existing FSOD methods for remote sensing images (RSIs) have achieved promising progress but remain constrained by the limited diversity of instances. To address this issue, we propose a novel framework that can leverage a diffusion model pretrained on large-scale natural images to synthesize diverse remote sensing instances, thereby improving the performance of few-shot object detectors. Instead of directly synthesizing complete remote sensing images, we first generate instance-level slices via a specialized slice-to-slice module, and then embed these slices into full-scale imagery for enhanced data augmentation. To further adapt diffusion models for remote sensing scenarios, we develop a class-agnostic image inversion module that can invert remote sensing instance slices into semantic space. Additionally, we introduce contrastive loss to semantically align the synthesized images with their corresponding classes. Experimental results show that our method hasachieved an average performance improvement of 4.4% across multiple datasets and various approaches. Ablation experiments indicate that the elaborately designed inversion module can effectively enhance the performance of FSOD methods, and the semantic contrastive loss can further boost the performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2511.18031v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.