Fed-MIWAE: Federated Imputation of Incomplete Data via Deep Generative Models
원문 초록
Federated learning allows for the training of machine learning models on multiple decentralized local datasets without requiring explicit data exchange. However, data pre-processing, including strategies for handling missing data, remains a major bottleneck in real-world federated learning deployment, and is typically performed locally. This approach may be biased, since the subpopulations locally observed at each center may not be representative of the overall one. To address this issue, this paper first proposes a more consistent approach to data standardization through a federated model. Additionally, we propose Fed-MIWAE, a federated version of the state-of-the-art imputation method MIWAE, a deep latent variable model for missing data imputation based on variational autoencoders. MIWAE has the great advantage of being easily trainable with classical federated aggregators. Furthermore, it is able to deal with MAR (Missing At Random) data, a more challenging missing-data mechanism than MCAR (Missing Completely At Random), where the missingness of a variable can depend on the observed ones. We evaluate our method on multi-modal medical imaging data and clinical scores from a simulated federated scenario with the ADNI dataset. We compare Fed-MIWAE with respect to classical imputation methods, either performed locally or in a centralized fashion. Fed-MIWAE allows to achieve imputation accuracy comparable with the best centralized method, even when local data distributions are highly heterogeneous. In addition, thanks to the variational nature of Fed-MIWAE, our method is designed to perform multiple imputation, allowing for the quantification of the imputation uncertainty in the federated scenario.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
협업 선형 예측에서의 공변량 불일치 처리
Handling Covariate Mismatch in Collaborative Linear Prediction
여러 센터(기관)에 걸쳐 예측 모델을 학습시키는 경우, 일반적으로 모든 센터가 동일한 공변량(covariate) 집합을 수집한다고 가정한다. 그러나 실제로는 각 센터가 관측값에 대해 서로 다른 특징(feature)을 기록할 수 있으며, 본 논문에서는 이러한 상황을 공변량 불일치(covariate mismatch)라고 부른다. 우리는 센터별로 MCAR(완전 무작위 결측, Missing Completely At Random) 결측 패턴을 가정한 이 어려운 상황에서의 선형 예측을 연구하며, 이질적인 특징 집합에도 불구하고 센터 간 정보를 활용하는 추정량을 개발한다. 저차원 영역에서는 공분산 및 교차 모멘트 추정값의 성분별 집계에 기반한 오라클 선형 예측기의 플러그인 추정량을 제안한다. 고차원에서는 교환 가능성을 보존하는 결측치 대치(imputation) 절차를 이용해 결측 공변량을 먼저 완성한 다음 리지(ridge) 정규화 선형 모델을 적합시키는 대치 후 회귀(impute-then-regress) 전략을 연구한다. 제안된 모든 추정량은 연합학습(federated learning) 제약 조건과 호환되며, 개별 수준의 데이터는 각 센터 내에 그대로 유지되고 집계된 값만 교환된다. 우리는 전역 차원, 센터별 특징 분할, 센터 간 샘플 분포에 따른 예측기의 거동을 명시적으로 특성화하는 점근적(asymptotic) 및 유한 표본(finite-sample) 학습 속도를 제공하며, 수치 실험을 통해 본 접근법을 검증한다.
Fed-ReMasker: 특징 수준 결측 하의 연합 표 형식 대치
Fed-ReMasker: Federated Tabular Imputation under Feature-Level Missingness
다기관 임상 연구와 생의학 연구 협력은 점점 더 여러 기관에 걸친 데이터를 활용해 단일 기관을 넘어 일반화되는 모델을 구축하려 한다. 이는 두 가지 뚜렷한 과제를 만든다. 데이터 보호 규제는 기관 간 원시 환자 데이터 공유를 제한할 수 있고, 기관마다 서로 다른 프로토콜 아래 부분적으로만 겹치는 특징 집합만 수집할 수 있다. 연합 학습(federated learning)은 원시 데이터를 중앙에 모으지 않고 협력적으로 모델 학습을 가능하게 한다. 그러나 기존 연합 대치(imputation) 방법은 일부 기관에서 전체 특징이 관측되지 않는 특징 수준 결측(feature-level missingness)을 거의 평가하지 않는다. 이 설정을 다루기 위해, 우리는 ReMasker 마스크드 오토인코더를 연합 학습에 맞게 확장한 Fed-ReMasker를 제안하여, 협력 기관들에서 학습한 지식을 활용해 로컬에서 한 번도 관측되지 않은 특징을 기관이 대치할 수 있게 한다. Fed-ReMasker는 선형·비선형 관계를 갖는 합성 데이터셋과 임상 데이터를 포함한 실제 표 형식 데이터셋에 걸친 벤치마크에서 평가한다. 이 벤치마크는 기관 수, 결측 비율, 클라이언트 이질성(heterogeneity)을 변화시킨다. Fed-ReMasker는 동질(homogeneous) 벤치마크에서 값 수준(value-level) 시나리오의 93.2%, 특징 수준 시나리오의 96.7%에서 최저 대치 오차를 달성한다. 단순 연합 평균(federated averaging)만으로도 클라이언트 이질성에 견고하며, 값 수준 36개 시나리오 전부에서 모든 기준선을 능가하고, 특징 수준 36개 시나리오 각각에서 최소 35개에서 각 기준선을 능가하며, 풀링(pooled) 데이터로 학습한 중앙집중식 모델 대비 평균 3.0% 이내에 머문다.
모달리티 불균형 연합 그래프 학습을 향하여: 데이터 합성 기반 접근법
Towards Modality-imbalanced Federated Graph Learning: A Data Synthesis-based Approach
멀티모달 연합 그래프 학습(MM-FGL)은 자연스러운 협업 학습 패러다임을 제공하지만, 실제 배치 시 두 가지 수준의 모달리티 불균형으로 인해 어려움을 겪습니다. 클라이언트 수준 불균형은 특정 클라이언트가 전체 모달리티가 부재할 때 발생하는 반면, 노드 수준 불균형은 개별 노드에서 시각적 또는 텍스트 속성이 누락될 때 발생합니다. 관련 연구들이 다수 존재하지만, 본 조사에 따르면 이들은 주로 그래프 무관(graph-agnostic)하거나 중앙 집중식 시나리오를 대상으로 하여 직접 적용하기 어렵습니다. 이러한 문제를 해결하기 위해, 본 연구는 모달리티 불균형 MM-FGL을 암묵적인 그래프 인지(graph-aware) 잠재 의미 표현 합성 문제로 정의합니다. 이 패러다임은 표현 공간 내에서 직접 누락된 모달 의미를 복원하여 원본 데이터의 의미 분포와의 정렬을 최대화하고, 누락된 모달리티로 인해 유발되는 높은 분산을 완화합니다. 이를 위해 FedMGS(Federated Modality-aware Graph Synthesis)를 제안하며, 이는 세 가지 핵심 구성 요소를 통합합니다. 가용성 인지(availability-aware) 그래프 인코더는 누락된 모달리티가 로컬 구조 전파를 오염시키는 것을 방지합니다. 프로토타입 기반(prototype-guided) 잠재 의미 합성기는 이용 불가능한 모달리티에 대한 클라이언트 간 의미 앵커를 설정합니다. 신뢰도 보정(reliability-calibrated) 의미 융합 메커니즘은 예측 리드아웃(readout) 이전에 복원된 잠재 표현의 영향을 조절합니다. 4가지 작업(task)에 대한 광범위한 실험 결과, FedMGS는 최상의 효율성-성능 트레이드오프(tradeoff)를 통해 경쟁력 있는 기준 모델(baseline)들을 일관되게 능가하며 최대 17.41%의 성능 향상을 보여주었습니다.
OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭
Distributed Sketching on Data Partitions for OLS Regression
본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.
A generalizable structural brain MRI foundation model via dual-priority federated pretraining
임상 머신러닝에서의 숨겨진 데이터 문제
Hidden Data Challenges in Clinical Machine Learning
전자의무기록(EHR)에 널리 재사용되는 전처리 파이프라인은 정보가 언제 사용 가능해졌는지, 레이블이 어떤 임상 에피소드를 나타내는지, 그리고 결측(missingness)이 무엇을 의미하는지에 대한 가정을 내재할 수 있다. 이러한 가정은 체계적으로 검증되는 경우가 드물며, 전처리 파이프라인이 재사용되거나 변형될 때 후속 연구들로 전파될 수 있다. 우리는 MIMIC-IV를 사례 연구로 사용하여, 전처리 정합성(alignment)의 세 가지 상호보완적 형태—시간적(temporal), 의미적(semantic), 모집단(population) 정합성—에 대한 위반을 식별하고 정량화하며, 이는 시간적 유출(temporal leakage), 특징-과제 불일치(feature-task misalignment), 편향된 결측치 대체(biased imputation)로 나타난다. 우리는 타임스탬프 의미론, 에피소드 정의, 엔드포인트 구성, 모달리티 선택, 결측치 처리 방식의 모호성이 모델이 이용할 수 있는 정보를 어떻게 바꾸고 그 예측의 해석에 어떻게 영향을 미치는지를 보여준다. MIMIC-IV 데이터 분석과 실증적 사례 연구를 통해, 우리는 이러한 선택들이 집계된 예측 성능(aggregate predictive performance)에서는 대체로 드러나지 않으면서도 모델이 의존하는 신호(signal)는 변화시킬 수 있음을 입증한다. 우리는 MIMIC-IV 및 관련 전자의무기록 데이터셋에 대해 시간적으로 유효하고, 임상적으로 정합하며, 재현 가능한 전처리를 위한 실용적인 권고안을 도출한다. 제안하는 전처리를 포함한 실험 코드는 https://github.com/m2l-lab/mimic-iv-preprocess 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.