Federated Learning for distribution skewed data using sample weights
원문 초록
One of the most challenging issues in federated learning is that the data is often not independent and identically distributed (nonIID). Clients are expected to contribute the same type of data and drawn from one global distribution. However, data are often collected in different ways from different resources. Thus, the data distributions among clients might be different from the underlying global distribution. This creates a weight divergence issue and reduces federated learning performance. This work focuses on improving federated learning performance for skewed data distribution across clients. The main idea is to adjust the client distribution closer to the global distribution using sample weights. Thus, the machine learning model converges faster with higher accuracy. We start from the fundamental concept of empirical risk minimization and theoretically derive a solution for adjusting the distribution skewness using sample weights. To determine sample weights, we implicitly exchange density information by leveraging a neural network-based density estimation model, MADE. The clients data distribution can then be adjusted without exposing their raw data. Our experiment results on three real-world datasets show that the proposed method not only improves federated learning accuracy but also significantly reduces communication costs compared to the other experimental methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Highly Data Parallelizable Estimation of the Sliced-Wasserstein Distance Using Cumulative Distribution Functions
보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가?
When are bosonic Gaussian states classical to learn?
물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다. - 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다. - 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다. 우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.
타원형 마할라노비스 판별 분석을 위한 폐형식 분수 방사형 링크
Closed-form fractional radial links for elliptical Mahalanobis discriminant analysis
우리는 두 클래스가 공유된 반경 생성자 $g$를 갖는 타원형 분포일 때의 이진 분류를 연구한다. 이때 로그 우도비는 두 제곱 마할라노비스 반경의 가법 함수이며, 반경 링크는 $\varphi=\log g$이다. 가우시안 클래스에서는 $\varphi$가 아핀이며 규칙은 이차 판별분석(QDA)으로 환원되고, 그렇지 않으면 베이즈 링크는 항등이 아니다. 이 링크를 스플라인 평활기로 적합하는 대신, 우리는 반경의 클래스 내 분포로부터 그 족을 유도하고 유한 분수 거듭제곱 사영을 추정한다. 반경 분포로부터 링크가 식별 가능하며, 플러그인 추정량이 유한 적률 조건에서 $\sqrt{n}$-일치성과 점근 정규성을 가지고, 유도된 분류기가 반복된 시브(sieve) 극한에서 점근적으로 베이즈 최적임을 증명한다. $d\ge2$이고 비중첩 클래스 모수인 경우, 항등 링크는 아핀(가우시안) 생성자에서만 충분하다. 이 브리지, GAM 소속, 그리고 이 이분법의 아핀 방향은 Lean 4에서 검증되었다. 우리는 Ghosh et al. (2025)의 전역 마할라노비스-GAM을 동일한 입력 예산으로 mgcv REML 스플라인을 사용해 재구현하여 비교한다. 두 UCI 벤치마크에서 유도된 링크는 적합된 GAM과 대등하다. 세 자산군의 금융 시계열 여섯 개에서, 시간 의존성을 존중하는 검증을 사용하면 적합된 GAM보다 유의하게 나쁜 경우가 없으며, CAD/USD에서는 더 낫고 나머지 다섯 개에서는 대등하다. 꼬리가 가장 두꺼운 세 시계열(원유 $[+0.023,+0.069]$, S&P 500 $[+0.039,+0.125]$, JPY/USD $[+0.009,+0.047]$)에서는 QDA를 능가하고 나머지에서는 대등하다. 닫힌 형태의 기준값을 갖는 속도 시뮬레이션은 $\sqrt{n}$ 속도를 재현하며, 공분산 이질성 하에서 QDA의 위험 하한과 유도된 링크의 소멸하는 초과 위험을 대비하여 보여 준다. 따라서 유도된 링크는 평활 모수 선택 없이도 조정된 GAM에 필적하며, 생성자가 가우시안에서 벗어나는 경우 QDA를 개선한다.
OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭
Distributed Sketching on Data Partitions for OLS Regression
본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.
확장 가능한 가능도 흐름 맵을 통한 소수 단계 볼츠만 생성기
Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps
흐름 기반 생성 모델링(flow-based generative modeling)의 최근 발전으로 소수의 함수 평가만으로 고품질 샘플을 출력하는 모델들이 등장했다. 그러나 현재 모델 가능도(likelihood) 추정에 있어서는 유사한 발전이 부족한 실정이다. 특히, 기존 방법들의 대부분은 정확한 계산을 가능하게 하는 제한적인 아키텍처에 의존하거나, 상당한 분산을 초래하는 허친슨 추적 추정기(Hutchinson's trace estimator)와 같은 확률적 근사법을 사용한다. 본 연구에서는 흐름 맵의 확장 가능한 가능도 증류(SCAlable LikeLihood distillation of flOw maPs, SCALLOP)를 소개한다. SCALLOP은 최근 제안된 F2D2를 기반으로 하며, F2D2는 소수의 함수 평가로 샘플과 그 밀도를 생성할 수 있는 가능도 흐름 맵 모델이다. F2D2가 학습 중 허친슨 추정기를 사용하는 반면, 본 연구에서는 허친슨 추정기 없이 벡터화된 공식을 허용하는, 보다 확장 가능한 대안적 가능도 증류 목적 함수를 도입한다. 실험적으로, 분자 과학에서 볼츠만 생성기(Boltzmann generator)로서 SCALLOP의 효과를 입증하고, 이미지 데이터셋에서도 그 이점을 추가로 검증한다. SCALLOP은 F2D2 대비 학습 분산과 학습 시간을 모두 크게 줄이면서 성능을 일관되게 향상시키며, 가장 빠른 기준선 대비 최대 10배의 추론 속도 향상을 달성하면서 최신 기술 수준과 경쟁력 있는 성능을 보인다.
밀도 행렬 임베딩 프레임워크 내 양자 선택 구성 상호작용을 위한 기계학습 기반 컴팩트 부분공간 생성
Machine-Learned Compact Subspace Generation for Quantum Selected Configuration Interaction within Density Matrix Embedding Framework
양자 선택 배치 상호작용(QSCI)의 확장인 샘플 기반 양자 대각화(SQD)는 분자 바닥 상태 에너지를 위한 유망한 하이브리드 양자-고전 패러다임이다. QSCI는 변분 최적화를 양자 샘플링으로 대체함으로써 불모의 고원(barren plateau)을 피하고 상관된 파동함수를 직접 재구성한다. 그러나 기존의 배치 복원은 물리적으로 가장 관련 있는 배치를 겨냥하지 않고 주로 대칭성 제약만을 부과하여, 과도하게 큰 부분공간과 비용이 큰 고전적 대각화를 초래하는 경우가 많다. 우리는 제한 볼츠만 머신(RBM)에 기반한 조밀한 부분공간 생성 프로토콜인 QSCI-RBM을 도입하고 이를 밀도 행렬 임베딩 이론(DMET)에 통합한다. RBM은 하드웨어 샘플로부터 지배적인 행렬식의 분포를 학습하여 확률이 높은 배치를 생성한다. 샘플링은 CH$_5$NO에는 IBM Heron R1(\texttt{ibm\_torino}), C$_2$H$_4$에는 R2(\texttt{ibm\_fez}), 더 큰 H$_2$O 벤치마크와 단백질-리간드 시스템에는 R3(\texttt{ibm\_boston})에서 수행되었다. 활성 공간 크기가 증가하는 이들 벤치마크에서 검증한 후, 열 개의 DMET 불순물로 분할된 SARS-CoV-2 주 단백질분해효소(M\textsuperscript{pro})에 결합한 억제제 Carmofur를 시뮬레이션한다. DMET-QSCI-RBM과 DMET-SQD 기준선 모두 네 번의 $\mu$ 반복 이내에 화학 퍼텐셜 자기일관성에 도달한다. 수렴된 화학 퍼텐셜에서 DMET-QSCI-RBM은 대칭성을 보존하는 배치 공간의 평균 $0.22\%$만 사용하면서 DMET-FCI와 $0.05\,\mathrm{mHa}$ 이내로 일치하는 반면, DMET-SQD는 $33.0\%$에서 $0.55\,\mathrm{mHa}$로, 약 153배의 부분공간 감소로 이어진다. 따라서 RBM 보조 확장은 동등하거나 더 나은 정확도에서 훨씬 더 조밀한 하드웨어 유래 행렬식 공간을 제공하며, 실제 하드웨어에서 생물학적 시스템의 확장 가능한 양자 임베딩을 위한 고전적 부담을 줄인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.