Federated Bayesian Neural Regression: A Scalable Global Federated Gaussian Process
원문 초록
In typical scenarios where the Federated Learning (FL) framework applies, it is common for clients to have insufficient training data to produce an accurate model. Thus, models that provide not only point estimations, but also some notion of confidence are beneficial. Gaussian Process (GP) is a powerful Bayesian model that comes with naturally well-calibrated variance estimations. However, it is challenging to learn a stand-alone global GP since merging local kernels leads to privacy leakage. To preserve privacy, previous works that consider federated GPs avoid learning a global model by focusing on the personalized setting or learning an ensemble of local models. We present Federated Bayesian Neural Regression (FedBNR), an algorithm that learns a scalable stand-alone global federated GP that respects clients' privacy. We incorporate deep kernel learning and random features for scalability by defining a unifying random kernel. We show this random kernel can recover any stationary kernel and many non-stationary kernels. We then derive a principled approach of learning a global predictive model as if all client data is centralized. We also learn global kernels with knowledge distillation methods for non-identically and independently distributed (non-i.i.d.) clients. Experiments are conducted on real-world regression datasets and show statistically significant improvements compared to other federated GP models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FedIncome: 데이터 주권 제약 하의 디지털 대출 소득 추정을 위한 연합학습
FedIncome: Federated Learning for Income Estimation in Digital Lending Under Data Sovereignty Constraints
디지털 대출 신청에서는 검증된 소득 정보를 확인할 수 없는 경우가 많아, 대출 기관이 신고 소득에 의존하게 되고 이로 인해 과대 대출, 지나치게 보수적인 대출 조건 제시, 또는 상환 능력이 있는 신청자에 대한 거절로 이어질 수 있습니다. 기관 간 데이터 공유 제약은 학습 데이터가 제한적인 소규모 대출 기관에 이 문제를 특히 어렵게 만듭니다. 본 논문에서는 기관들이 원시 차입자 기록을 하나로 모으지 않고도 공유 모델을 학습할 수 있도록 하는 소득 추정용 연합학습(federated learning) 프레임워크인 FedIncome을 소개합니다. 100만 건 이상의 LendingClub 대출을 $50$개 주(state) 단위 클라이언트로 분할하여 이질적인 대출 컨소시엄을 시뮬레이션합니다. 최고 성능의 연합학습 모델은 시간 외(out-of-time) $R^2=0.608$을 달성하였으며, 이는 풀링(pooling)된 중앙집중식 벤치마크의 $0.619$와 비교됩니다. 소규모 표본 클라이언트는 풀링된 중앙집중식 벤치마크 대비 시간 외 $R^2$가 평균 $3.8$퍼센트포인트 향상되었으며, 적합된 클라이언트 수준 관계에 따르면 이 설정에서 경험적 교차점은 약 $4,790$개의 학습 관측치로 나타났습니다. 풀링이 불가능하고 적절한 대안이 로컬 전용 학습인 경우, 연합학습은 모든 표본 크기 그룹에서 시간 외 성능을 향상시키며, 데이터가 부족한 클라이언트에서 가장 큰 향상을 보입니다. 또한 연합학습으로 추정한 소득을 주(state) 및 소득별 부채상환비율(debt-to-income) 임계값과 결합하였습니다. 회고적 의사결정 분석에서 신고 소득을 연합학습 추정치로 대체하면, 관측된 부도율의 변화는 소폭에 그치면서 시뮬레이션된 승인율이 증가합니다. FedIncome은 풀링 학습 대비 전체적인 손실(loss)은 거의 없이, 로컬 전용 추정 대비로는 더 큰 향상을 제공하며 데이터 지역성 제약 하에서의 협력 학습을 지원합니다.
IoT 보안을 위한 신뢰할 수 있는 연합 TinyML 배포
Reliable Federated TinyML Deployment for IoT Security
사물인터넷(IoT) 기기의 배포가 증가함에 따라 자원 제약이 있는 하드웨어에서 직접 동작하는 프라이버시 보존형 침입 탐지 시스템의 필요성이 커졌습니다. 연합학습(Federated Learning)은 원시 데이터를 공유하지 않고도 협업적 모델 학습을 가능하게 하지만, 기존의 연합 모델은 마이크로컨트롤러급 기기에 배포하기에는 지나치게 크고 불안정한 경우가 많습니다. TinyML 기술은 소형 신경망을 가능하게 하지만 일반적으로 추론 전용 워크로드를 위해 설계됩니다. 본 연구에서는 IoT 환경의 침입 탐지를 위해 연합학습과 TinyML 기반 모델 압축을 결합하는 방안을 조사합니다. 저자들은 연합 학습 파이프라인 내에서 지식 증류, 구조적 가지치기, 양자화를 포함한 압축 전략을 평가합니다. 초기 결과는 학습 안정성이 연합 TinyML 시스템에서 결정적인 역할을 한다는 점을 보여줍니다. 특히, 서버 조율 코사인 학습률 스케줄링(server-coordinated cosine learning-rate scheduling)은 상당한 모델 압축과 효율적인 엣지 배포를 실현하는 동시에 공격 재현율(Attack Recall)을 46.7%에서 93.85%로 향상시킵니다. 이러한 결과는 IoT 기기를 위한 경량화 및 프라이버시 보존형 침입 탐지 시스템 설계에 유용한 통찰을 제공합니다.
적대적으로 견고한 연합 회귀의 그래디언트 이질성 역학
On the Gradient Heterogeneity Dynamics of Adversarially Robust Federated Regression
연합 학습(FL)은 본질적으로 이질적이다. 정직한 클라이언트는 서로 다른 데이터 생성 모델을 가질 수 있다. 게다가 적대적 클라이언트는 임의의 업데이트를 공유함으로써 이질성을 더욱 두드러지게 만들 수 있다. 기존 분석은 일반적으로 그래디언트 불유사도 조건을 통해 통계적 이질성과 적대적 행동 간의 상호작용을 통제한다. 그러나 근본적인 상계는 사전에 부여되며, 최소제곱 회귀에서조차 보수적인 보장을 줄 수 있다. 우리는 대신 매 라운드마다 새로운 데이터 샘플을 사용하는 선형 및 비선형 회귀의 통계 모델로부터 그래디언트 이질성을 유도한다. 우리의 상계는 정직한 클라이언트의 ground-truth 모델 매개변수 간 이질성, 유한 표본 레이블 노이즈, 초기화를 분리한다. 그런 다음 계수 $\kappa = O(f/n)$을 갖는 임의의 $(f,\kappa)$-견고 집계기(aggregator)에 대해, $f$는 적대적 클라이언트 수, $n$은 전체 클라이언트 수($f/n < 1/2$)일 때, 명시적인 샘플 burn-in 이후 수렴이 성립함을 보인다.
FedMust: 다중 장기 CT 분할을 위한 준지도 멀티태스크 학생-교사 연합 학습
FedMust: Semi-supervised Multi-task Student-Teacher Federated Learning for Multi-organ CT Segmentation
심층 학습(deep learning)을 이용한 다중 장기 분할(multi-organ segmentation)은 주석(annotation)이 달린 대량의 환자 데이터를 필요로 하지만, 각 기관에는 충분히 크고 다양한 주석 데이터셋(dataset)이 부족한 경우가 많습니다. 또한 개인정보 보호 제약으로 인해 이러한 한계를 극복하기 위해 기관 간에 환자 데이터를 공유하는 것도 불가능합니다. 더욱이 주석 작업의 노동 집약적인 특성과 다양한 전문성의 부족으로 인해, 기관들은 일반적으로 로컬 데이터의 극히 일부에 대해서만 레이블을 보유하고 있어 레이블이 없는 더 많은 양의 데이터는 활용되지 못한 채 남겨집니다. 본 연구에서는 참여 사이트 전반에서 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 모두 활용하여 다중 장기 분할 성능을 개선하기 위해 연합 학습(FL)을 활용하는 유연한 준지도 연합 멀티태스크 학생-교사 프레임워크를 제안합니다. 제안된 프레임워크는 각 통신 라운드마다 로컬 학습(training)을 시작하며, 동일한 태스크에 대한 레이블을 보유한 클라이언트들이 연합을 구성하여 집합된 교사 모델(teacher model)을 생성합니다. 이렇게 생성된 교사 모델은 각 클라이언트의 모든 데이터에 대해 태스크별 특징(feature)을 생성합니다. 이어서 모든 클라이언트는 두 번째 연합을 구성하여 공유 인코더와 모든 분할 태스크에 걸쳐 교사가 생성한 특징을 복제하는 태스크별 디코더를 갖춘 멀티태스크 학생 모델(student model)을 학습시킵니다. 이후 집합된 학생 모델은 로컬 교사 모델을 업데이트하고 다음 학습 라운드를 시작하는 데 사용됩니다. 광범위한 실험을 통해 제안된 방법이 로컬 및 연합 단일 장기 모델 대비 효과적임을 입증하였으며, 클라이언트 전반에 걸쳐 평균 13%의 성능 향상을 달성했습니다. 또한 실험을 통해 멀티태스크 학습과 레이블이 지정되지 않은 데이터의 영향력, 그리고 클라이언트 참여를 위한 레이블 데이터 요구 조건을 완화하는 데 본 프레임워크를 적용할 수 있음을 입증했습니다. 코드는 https://github.com/AshknMrd/FedMust 에서 확인할 수 있습니다.
Reinforced Knowledge Distillation for Time Series Regression
Fed-RAC: Resource-Aware Clustering for Tackling Heterogeneity of Participants in Federated Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.