arXiv:2608.15516v1 cs.LG

UniFed-VLM: 다중 이질성 환경에서의 비전-언어 모델 연합 지시 미세조정

UniFed-VLM: Federated Instruction Tuning for Vision-Language Models with Multiple Heterogeneity

Pengyu Wang, Baochen Xiong, Xiaoshan Yang, Yifan Xu, Zhang Qimeng, Haifeng Chen, Changsheng Xu

제출 2026-08-16

한국어 초록

비전-언어 모델(VLM)은 다중모달 이해와 생성에서 강한 성능을 보여 왔다. 그러나 VLM의 미세조정은 일반적으로 중앙집중식 데이터에 의존하며, 이는 특정 도메인(예: 의료)에서 프라이버시 우려를 야기한다. 연합 학습(FL)은 원시 데이터를 공유하지 않고 모델 학습을 가능하게 하므로 자연스러운 해결책을 제공한다. 그러나 VLM 지시 미세조정에 FL을 적용하는 것은 매우 어렵다. VLM은 매개변수 규모가 크고, 실제 시나리오에서는 클라이언트가 작업, 모달리티, 모델 아키텍처 측면에서 상당한 이질성을 보인다. 기존 방법은 주로 단순화된 설정에 초점을 맞추며 이러한 다차원 이질 시나리오를 다루지 못한다. 본 연구에서는 작업, 모달리티, 모델 아키텍처에 걸친 공동 이질성 하에서의 연합 지시 미세조정을 연구한다. 우리는 UniFed-VLM을 제안한다. 이는 VLM을 위한 통합 연합 지시 미세조정 프레임워크로, 여러 유형의 이질성을 해결한다. 이는 두 가지 핵심 구성 요소로 이루어진다. 1) Federated Compensated Subspace Aggregation(FedCSA)은 동적 가중 및 보상을 통해 이질성 유발 충돌을 완화하면서 매개변수 효율적 어댑터의 부분공간 정렬 집계를 수행한다. 2) Two-stage Collaborative Distillation(TCoD)은 Mutual Distillation Adapter(MDA)와 전문가 혼합(MoE) 기반 증류 전략을 통해 이질 모델 간 효과적인 지식 전달을 가능하게 한다. 여러 벤치마크 데이터셋에서 실험을 수행한 결과, UniFed-VLM은 기존 FL 방법과 비교하여 다양한 작업 전반에서 더 강한 평균 성능을 달성함을 보여 준다. 소스 코드는 https://github.com/wangpengyu2004/UniFed-VLM 에서 이용할 수 있다.

원문 초록

Vision-Language Models (VLMs) have demonstrated strong performance in multimodal understanding and generation. However, fine-tuning of VLMs typically relies on centralized data, which raises privacy concerns in certain domains (e.g. healthcare). Federated Learning (FL) provides a natural solution by enabling model training without sharing raw data. However, applying FL to VLM instruction tuning is highly challenging. VLMs have substantial parameter scales, and in real-world scenarios, clients exhibit significant heterogeneity in tasks, modalities, and model architectures. Existing methods mainly focus on simplified settings and are unable to handle such multi-dimensional heterogeneous scenarios. In this work, we study federated instruction tuning under joint heterogeneity in tasks, modalities, and model architectures. We propose UniFed-VLM, a unified federated instruction tuning framework for VLMs that addresses multiple types of heterogeneity. It consists of two key components: 1) Federated Compensated Subspace Aggregation (FedCSA), which performs subspace-aligned aggregation of parameter-efficient adapters with dynamic weighting and compensation to mitigate heterogeneity-induced conflicts; 2) Two-stage Collaborative Distillation (TCoD), which enables effective knowledge transfer across heterogeneous models via a Mutual Distillation Adapter (MDA) and a mixture-of-experts-based distillation strategy. We conduct experiments on multiple benchmark datasets, and the results show that UniFed-VLM achieves stronger average performance across diverse tasks compared with existing FL methods. The source code is available at: https://github.com/wangpengyu2004/UniFed-VLM.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.15516v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.