Federated Expectation Maximization with heterogeneity mitigation and variance reduction
원문 초록
The Expectation Maximization (EM) algorithm is the default algorithm for inference in latent variable models. As in any other field of machine learning, applications of latent variable models to very large datasets make the use of advanced parallel and distributed architectures mandatory. This paper introduces FedEM, which is the first extension of the EM algorithm to the federated learning context. FedEM is a new communication efficient method, which handles partial participation of local devices, and is robust to heterogeneous distributions of the datasets. To alleviate the communication bottleneck, FedEM compresses appropriately defined complete data sufficient statistics. We also develop and analyze an extension of FedEM to further incorporate a variance reduction scheme. In all cases, we derive finite-time complexity bounds for smooth non-convex problems. Numerical results are presented to support our theoretical findings, as well as an application to federated missing values imputation for biodiversity monitoring.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
협업 선형 예측에서의 공변량 불일치 처리
Handling Covariate Mismatch in Collaborative Linear Prediction
여러 센터(기관)에 걸쳐 예측 모델을 학습시키는 경우, 일반적으로 모든 센터가 동일한 공변량(covariate) 집합을 수집한다고 가정한다. 그러나 실제로는 각 센터가 관측값에 대해 서로 다른 특징(feature)을 기록할 수 있으며, 본 논문에서는 이러한 상황을 공변량 불일치(covariate mismatch)라고 부른다. 우리는 센터별로 MCAR(완전 무작위 결측, Missing Completely At Random) 결측 패턴을 가정한 이 어려운 상황에서의 선형 예측을 연구하며, 이질적인 특징 집합에도 불구하고 센터 간 정보를 활용하는 추정량을 개발한다. 저차원 영역에서는 공분산 및 교차 모멘트 추정값의 성분별 집계에 기반한 오라클 선형 예측기의 플러그인 추정량을 제안한다. 고차원에서는 교환 가능성을 보존하는 결측치 대치(imputation) 절차를 이용해 결측 공변량을 먼저 완성한 다음 리지(ridge) 정규화 선형 모델을 적합시키는 대치 후 회귀(impute-then-regress) 전략을 연구한다. 제안된 모든 추정량은 연합학습(federated learning) 제약 조건과 호환되며, 개별 수준의 데이터는 각 센터 내에 그대로 유지되고 집계된 값만 교환된다. 우리는 전역 차원, 센터별 특징 분할, 센터 간 샘플 분포에 따른 예측기의 거동을 명시적으로 특성화하는 점근적(asymptotic) 및 유한 표본(finite-sample) 학습 속도를 제공하며, 수치 실험을 통해 본 접근법을 검증한다.
Fed-ReMasker: 특징 수준 결측 하의 연합 표 형식 대치
Fed-ReMasker: Federated Tabular Imputation under Feature-Level Missingness
다기관 임상 연구와 생의학 연구 협력은 점점 더 여러 기관에 걸친 데이터를 활용해 단일 기관을 넘어 일반화되는 모델을 구축하려 한다. 이는 두 가지 뚜렷한 과제를 만든다. 데이터 보호 규제는 기관 간 원시 환자 데이터 공유를 제한할 수 있고, 기관마다 서로 다른 프로토콜 아래 부분적으로만 겹치는 특징 집합만 수집할 수 있다. 연합 학습(federated learning)은 원시 데이터를 중앙에 모으지 않고 협력적으로 모델 학습을 가능하게 한다. 그러나 기존 연합 대치(imputation) 방법은 일부 기관에서 전체 특징이 관측되지 않는 특징 수준 결측(feature-level missingness)을 거의 평가하지 않는다. 이 설정을 다루기 위해, 우리는 ReMasker 마스크드 오토인코더를 연합 학습에 맞게 확장한 Fed-ReMasker를 제안하여, 협력 기관들에서 학습한 지식을 활용해 로컬에서 한 번도 관측되지 않은 특징을 기관이 대치할 수 있게 한다. Fed-ReMasker는 선형·비선형 관계를 갖는 합성 데이터셋과 임상 데이터를 포함한 실제 표 형식 데이터셋에 걸친 벤치마크에서 평가한다. 이 벤치마크는 기관 수, 결측 비율, 클라이언트 이질성(heterogeneity)을 변화시킨다. Fed-ReMasker는 동질(homogeneous) 벤치마크에서 값 수준(value-level) 시나리오의 93.2%, 특징 수준 시나리오의 96.7%에서 최저 대치 오차를 달성한다. 단순 연합 평균(federated averaging)만으로도 클라이언트 이질성에 견고하며, 값 수준 36개 시나리오 전부에서 모든 기준선을 능가하고, 특징 수준 36개 시나리오 각각에서 최소 35개에서 각 기준선을 능가하며, 풀링(pooled) 데이터로 학습한 중앙집중식 모델 대비 평균 3.0% 이내에 머문다.
모달리티 불균형 연합 그래프 학습을 향하여: 데이터 합성 기반 접근법
Towards Modality-imbalanced Federated Graph Learning: A Data Synthesis-based Approach
멀티모달 연합 그래프 학습(MM-FGL)은 자연스러운 협업 학습 패러다임을 제공하지만, 실제 배치 시 두 가지 수준의 모달리티 불균형으로 인해 어려움을 겪습니다. 클라이언트 수준 불균형은 특정 클라이언트가 전체 모달리티가 부재할 때 발생하는 반면, 노드 수준 불균형은 개별 노드에서 시각적 또는 텍스트 속성이 누락될 때 발생합니다. 관련 연구들이 다수 존재하지만, 본 조사에 따르면 이들은 주로 그래프 무관(graph-agnostic)하거나 중앙 집중식 시나리오를 대상으로 하여 직접 적용하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 연구는 모달리티 불균형 MM-FGL을 암묵적인 그래프 인지(graph-aware) 잠재 의미 표현 합성 문제로 정의합니다. 이 패러다임은 표현 공간 내에서 직접 누락된 모달 의미를 복원하여 원본 데이터의 의미 분포와의 정렬을 최대화하고, 누락된 모달리티로 인해 유발되는 높은 분산을 완화합니다. 이를 위해 FedMGS(Federated Modality-aware Graph Synthesis)를 제안하며, 이는 세 가지 핵심 구성 요소를 통합합니다. 가용성 인지(availability-aware) 그래프 인코더는 누락된 모달리티가 로컬 구조 전파를 오염시키는 것을 방지합니다. 프로토타입 기반(prototype-guided) 잠재 의미 합성기는 이용 불가능한 모달리티에 대한 클라이언트 간 의미 앵커를 설정합니다. 신뢰도 보정(reliability-calibrated) 의미 융합 메커니즘은 예측 리드아웃(readout) 이전에 복원된 잠재 표현의 영향을 조절합니다. 4가지 작업(task)에 대한 광범위한 실험 결과, FedMGS는 최상의 효율성-성능 트레이드오프(tradeoff)를 통해 경쟁력 있는 기준 모델(baseline)들을 일관되게 능가하며 최대 17.41%의 성능 향상을 보여주었습니다.
Missing value imputation with adversarial random forests -- MissARF
MoTM: Towards a Foundation Model for Time Series Imputation based on Continuous Modeling
Mind the gap: an experimental evaluation of imputation of missing values techniques in time series
토론
이 논문과 연결된 포럼 글이 아직 없습니다.