arXiv:2608.04791v1 cs.CV

원격 탐사에서 VLM 기반 연합 학습을 위한 적응 전략의 효과성 연구

On the Effectiveness of Adaptation Strategies for VLM-Based Federated Learning in Remote Sensing

Simon Lösche, Barış Büyüktaş, Mathis Adler, Angelos Zavras, Ioannis Papoutsis, Begüm Demir

제출 2026-08-05

한국어 초록

연합 학습(Federated Learning, FL)은 데이터를 중앙 집중화하지 않고도 분산된 이미지 저장소 전반에서 심층 학습(deep learning) 모델의 협력적 학습(training)을 가능하게 한다. 이러한 패러다임은 법적 규제, 개인정보 보호 우려, 대역폭 제약으로 인해 데이터 공유가 제한되는 원격 탐사(Remote Sensing, RS) 분야에서 특히 유용하다. 그러나 클라이언트 간 학습 데이터의 이질성(non-IID 데이터로 알려짐)은 수렴(convergence)을 저해하고 집계된 글로벌 모델의 일반화 능력을 제한할 수 있다. 학습 데이터 이질성의 부정적인 영향을 완화하기 위해, 분포 변화(distribution shift) 하에서 강건성을 입증한 전이 가능한 표현력을 지닌 비전-언어 모델(Vision-Language Model, VLM)을 연합 학습에 활용할 수 있다. 그러나 큰 매개변수(parameter) 크기는 연합 환경에서 통신 오버헤드와 로컬 계산 복잡도를 크게 증가시킬 수 있다. 따라서 일반화 능력과 통신 및 계산 제약 사이의 균형을 맞추는 적절한 VLM 적응 전략을 선택하는 것이 매우 중요하다. 이러한 문제를 해결하기 위해, 본 논문에서는 RS 이미지 분류(image classification) 관점에서 연합 학습을 위한 VLM 적응 전략에 대한 최초의 비교 연구를 제시한다. 전체 미세조정(full fine-tuning), 인코더별 미세조정, 프롬프트(prompt) 학습, 그리고 LoRA(Low-Rank Adaptation) 튜닝을 조사하고 1) non-IID 데이터 하에서의 일반화 능력, 2) 통신 오버헤드, 3) 로컬 계산 복잡도라는 세 가지 기준에 따라 이를 분석한다. BigEarthNet-S2, EuroSAT, RESISC45 및 ImageNet에서의 실험은 태스크 특화, 교차 도메인 일반화, 효율성 사이의 뚜렷한 트레이드오프를 보여준다. 이러한 결과를 바탕으로, 다양한 운영 제약 하에서 RS 이미지 분류를 위한 연합 학습 시 적절한 VLM 적응 전략을 선택할 수 있는 가이드라인을 도출한다. 본 연구의 코드는 https://git.tu-berlin.de/rsim/FL-RS-VLM 에서 공개되어 있다.

원문 초록

Federated learning (FL) enables collaborative training of deep learning models across decentralized image archives without requiring data centralization. This paradigm is particularly relevant in remote sensing (RS), where legal regulations, privacy concerns, and bandwidth constraints restrict data sharing. However, the presence of training data heterogeneity across clients (known as non-IID data) can impede convergence and limit the generalization capability of the aggregated global model. To mitigate the adverse effects of training data heterogeneity, vision-language models (VLMs) can be leveraged in FL due to their transferable representations, which have demonstrated robustness under distribution shifts. However, their large parameter size may substantially increase communication overhead and local computational complexity in federated settings. Therefore, it is crucial to select an appropriate VLM adaptation strategy that balances the generalization ability with the communication and computational constraints. To address this issue, in this paper, we present the first comparative study of VLM adaptation strategies for FL in the context of RS image classification. We investigate full fine-tuning, encoder-specific fine-tuning, prompt learning, and low-rank adaptation (LoRA) tuning, and analyze them with respect to three criteria: 1) generalization capability under non-IID data, 2) communication overhead, and 3) local computational complexity. Experiments on BigEarthNet-S2, EuroSAT, RESISC45, and ImageNet reveal distinct trade-offs between task specialization, cross-domain generalization, and efficiency. Based on our findings, we derive a guideline for the selection of an appropriate VLM adaptation strategy in FL for RS image classification under different operational constraints. The code of this work is publicly available at https://git.tu-berlin.de/rsim/FL-RS-VLM.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.04791v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.