STORMGUIDE-FL: 연합 스트리밍 데이터의 효율적 마이닝을 위한 확률적 원격 지도
STORMGUIDE-FL: Stochastic Remote Guidance for Efficient Mining of Federated Streaming Data
한국어 초록
연합 학습은 여러 엣지 기기인 클라이언트에 분산된 데이터의 개인정보를 보호하면서 공동으로 모델을 학습할 수 있게 한다. 그러나 실제 환경에서 클라이언트는 엄격한 자원 제약 아래 변화하는 환경의 연속 데이터 스트림을 관측한다. 기존 방법에는 두 가지 큰 문제가 남아 있다. 국소 개념 드리프트는 각 클라이언트의 데이터 분포가 시간에 따라 바뀌는 현상이다. 전역 클라이언트 드리프트는 서로 다른 학습 참여자가 비동기적으로 참여하고 기여가 불균형할 때 생긴다. 논문은 이 두 측면을 이중 클라이언트 이질성으로 정식화한다. 본 연구는 서버가 지도하는 데이터 획득과 로컬 학습 파이프라인으로 두 가지 드리프트를 완화하는 연합 최적화 및 데이터 마이닝 프레임워크 STORMGUIDE-FL을 제안한다. 데이터 획득 단계에서 클라이언트의 가벼운 샘플링 전략은 한정된 메모리, 연산, 레이블링 예산 안에서 비정상적이며 독립 동일분포를 따르지 않는 로컬 스트림에서 정보량이 많고 다양한 사례를 점진적으로 고른다. 로컬 학습에서는 서버의 원격 지도를 갱신 단위 보정으로 로컬 최적화에 직접 포함한다. 제한된 레이블 표본을 버리지 않고도 클라이언트 드리프트를 줄인다. 점진적, 급격한, 반복적인 개념 드리프트가 나타나는 연합 데이터 스트림에서 제안한 샘플링 전략의 효과를 실험으로 확인했다. 샘플링과 갱신 단위 드리프트 보정을 함께 적용하면 개선 효과가 더 컸다. 자원이 제한되고 클라이언트가 이질적인 조건에서도 전역 모델이 더 빠르고 안정적으로 수렴했다.
원문 초록
Federated Learning enables collaborative model training across distributed edge devices ("clients") while preserving data privacy. However, real-world deployments involve clients that observe continuous data streams from evolving environments while operating under strict resource limitations. Existing solutions still face two major challenges: local concept drift, where each client's data distribution shifts over time, and global client drift, arising from asynchronous engagement and imbalanced contributions across heterogeneous training participants, formally described as dual client heterogeneity. We propose STORMGUIDE-FL, a federated optimization and data-mining framework that mitigates both types of drift using a server-guided pipeline for data acquisition and local training. For data acquisition, a lightweight client-side sampling strategy incrementally selects informative and diverse instances from non-stationary, non-IID local streams under bounded memory, compute, and labeling budget. For local training, the server's remote guidance is embedded directly into local optimization as an update-level correction, counteracting client drift without discarding scarce labeled samples. We empirically verify the effectiveness of the proposed sampling strategy on federated data streams across gradual, sudden, and recurring concept drift, and demonstrate that its gains compound with the update-level drift correction. Experimental results further show improved speed and robustness of global model convergence under resource-constrained, heterogeneous conditions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.20975v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.