arXiv:2212.01732

Quantum Federated Learning with Entanglement Controlled Circuits and Superposition Coding

Won Joon Yun, Jae Pyoung Kim, Hankyul Baek, Soyi Jung, Jihong Park, Mehdi Bennis, Joongheon Kim

제출 2022-12-04

원문 초록

While witnessing the noisy intermediate-scale quantum (NISQ) era and beyond, quantum federated learning (QFL) has recently become an emerging field of study. In QFL, each quantum computer or device locally trains its quantum neural network (QNN) with trainable gates, and communicates only these gate parameters over classical channels, without costly quantum communications. Towards enabling QFL under various channel conditions, in this article we develop a depth-controllable architecture of entangled slimmable quantum neural networks (eSQNNs), and propose an entangled slimmable QFL (eSQFL) that communicates the superposition-coded parameters of eS-QNNs. Compared to the existing depth-fixed QNNs, training the depth-controllable eSQNN architecture is more challenging due to high entanglement entropy and inter-depth interference, which are mitigated by introducing entanglement controlled universal (CU) gates and an inplace fidelity distillation (IPFD) regularizer penalizing inter-depth quantum state differences, respectively. Furthermore, we optimize the superposition coding power allocation by deriving and minimizing the convergence bound of eSQFL. In an image classification task, extensive simulations corroborate the effectiveness of eSQFL in terms of prediction accuracy, fidelity, and entropy compared to Vanilla QFL as well as under different channel conditions and various data distributions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00693v1cs.CV공통 태그 Image Classification, Federated Learning

FedMAD: 원격 탐사(Remote Sensing) 이미지 분류를 위한 연합학습(Federated Learning)에서의 변조 인지 방향성 집계

FedMAD: Modulation-Aware Directional Aggregation for Federated Learning in Remote Sensing Image Classification

연합학습(Federated Learning, FL)은 로컬 데이터에 직접 접근하지 않고도 분산된 원격 탐사(Remote Sensing, RS) 이미지 아카이브 전반에 걸쳐 협력적인 모델 학습을 가능하게 하기 때문에 최근 원격 탐사 분야에서 주목받고 있다. 그러나 클라이언트 간 데이터 분포가 이질적인 경우 FL 성능이 크게 저하되는데, 이는 지리적 차이, 계절 변화, 그리고 서로 다른 영상 취득 및 대기 조건으로 인해 흔히 발생한다. 이러한 문제를 해결하기 위해 본 논문에서는 원격 탐사 이미지 분류 문제를 위한 새로운 개인화된 FL 프레임워크(FedMAD로 명명)를 제안한다. 제안된 프레임워크는 전역적으로 전이 가능한 표현을 유지하면서 클라이언트별 특징을 보존하기 위해 전역적으로 공유되는 표현 파라미터와 클라이언트별 적응 파라미터를 분리한다. 이는 경량 변조 모듈과 로컬 배치 정규화 계층을 백본 네트워크에 통합함으로써 달성된다. 전역적으로 공유되는 파라미터는 클라이언트 간에 협력적으로 최적화되지만, 클라이언트별 파라미터는 도메인별 특징적 특성을 보존하기 위해 로컬에 유지된다. 또한 FedMAD는 로컬 변조 업데이트의 정렬 정도에 따라 각 클라이언트에 대한 집계 중요도를 동적으로 조정하는 변조 인지 방향성 집계 전략을 도입한다. 이를 통해 전역 최적화 과정은 이질적인 데이터 분포에서 비롯된 상충하는 클라이언트 업데이트를 억제하는 동시에 일관된 적응 행동을 보이는 클라이언트의 기여도를 강화할 수 있다. BigEarthNet-S2 및 EuroSAT 데이터셋에서 얻은 실험 결과는 이질적인 원격 탐사 데이터 분포 하에서 FedMAD가 최신 FL 알고리즘들과 비교하여 효과적임을 보여준다. 제안된 프레임워크의 코드는 https://git.tu-berlin.de/rsim/fedmad 에서 공개될 예정이다.

arXiv:2607.20641v1cs.LG공통 태그 Image Classification, Federated Learning

한 라운드면 충분하다: 태스크 이질적 다중 레이블 의료 이미지 분류를 위한 해석적 연합 학습

One Round Is All You Need: Analytic Federated Learning for Task-Heterogeneous Multi-Label Medical Image Classification

연합 학습(FL)은 여러 임상 기관이 환자 데이터를 중앙 집중화하지 않고 공유 질병 분류기를 협력적으로 학습할 수 있게 한다. 그러나 실제로는 각 기관이 자신의 전문 분야 내 병리만 주석하므로, 연합은 태스크 이질성(task heterogeneity) 하에서 운영된다. 각 클라이언트는 목표 질병 카테고리의 엄격한 부분집합에 대한 레이블만 보유하며, 나머지 클래스는 해당 사이트에서 전혀 관측되지 않는다. 기존 그래디언트 기반 FL 방법은 이 설정에서 수백 번의 통신 라운드가 필요해 수렴하고, 누락된 클래스 레이블이 체계적인 거짓 음성(false-negative) 바이어스를 도입하여 원칙적인 메커니즘 없이는 모델이 교정할 수 없기 때문에 실패한다. 우리는 태스크 이질성 하의 다중 레이블 의료 이미지 분류를 위한 해석적 연합 학습 프레임워크를 제안한다. 제안 방법은 반복적 그래디언트 최적화를 세 가지 폐형(closed-form) 연산으로 대체한다. 균형 레이블 투영(balanced label projection)은 양성 및 음성 기여의 총 질량을 동등하게 정규화하여 클래스 불균형 바이어스를 중화하고, 클래스별 절대 집계 법칙(per-class absolute aggregation law)은 주석을 제공한 클라이언트가 업로드한 충분 통계(sufficient statistics)로부터 각 질병 카테고리에 대한 최적 릿지 회귀(ridge-regression) 분류기를 독립적으로 조립하며, 선택적 해석적 의사 레이블(pseudo-label) 정제 라운드는 신뢰도 필터링된 교사 분류기로부터 누락 클래스 지식을 주석하지 않은 클라이언트에 전파한다. 전체 절차는 태스크 이질성의 정도나 참여 클라이언트 수와 관계없이 최대 두 번의 통신 라운드만 필요하다. ChestXray14에서 점진적으로 심각해지는 네 가지 누락 클래스 구성 하에서의 실험은, 제안 방법이 최첨단 연합 다중 레이블 방법 FedMLP를 최대 18.44 BACC 포인트 및 13.24 AUC 포인트만큼 일관되게 능가하며 통신을 줄인다는 것을 보여준다.

arXiv:2607.21074v1cs.LG공통 태그 Image Classification, Federated Learning

Vision Transformer 연합 LoRA에서 층별 전역 랭크 발견을 위한 스펙트럴 변환

Spectral Transformation for Layer-wise Global Rank Discovery in Federated LoRA for Vision Transformers

Vision Transformer(ViT)를 저랭크 어댑터(LoRA)로 미세조정하면 연합 설정에서 더 나은 통신 효율을 기대할 수 있지만, 기존 집계 전략은 근본적인 한계에 직면한다. 이러한 LoRA 인수들을 독립적으로 평균내는 것은 수학적으로 일관되지 않아 교차항 집계 오류를 유발한다. 반면, 서버에서 로컬 어댑터를 연결하여 이질적인 클라이언트 랭크를 보존하는 접근법은 다운로드 비용을 크게 증가시키며, 종종 클라이언트에서 전역 LoRA 업데이트를 사전학습 가중치에 병합해야 하므로 재초기화 지연과 불안정한 수렴을 야기한다. 다른 접근법은 밀집 가중치 업데이트를 재구성하거나 집계 오류를 정제하기 위한 보조 모델을 학습함으로써 서버 측 오버헤드를 더욱 증가시킨다. 본 연구에서는 이러한 과제들을 통합 설계 내에서 해결하는 SpecTraL(층별 전역 랭크 발견을 위한 스펙트럴 변환, spectral transformation for layer-wise global rank discovery)을 제안한다. SpecTraL은 클라이언트의 로컬 LoRA 모듈을 쌓고, 쌓인 어댑터에 대해 저랭크 잠재 공간에서 직접 직교 정규 Householder 변환을 수행하여, 전역 업데이트의 밀집 재구성과 서버에서의 보조 정제를 모두 제거한다. 무작위 행렬 이론(Random Matrix Theory)의 Spiked Covariance Model을 활용하여, SpecTraL은 전역 합의 신호를 non-IID 노이즈로부터 해석적으로 분리하고, 수동 하이퍼파라미터 튜닝 없이 최적의 층별 전역 랭크를 발견한다. 후속 라운드에서 로컬 랭크를 맞추기 위해, 클라이언트가 잔차 LoRA 차원을 사전학습 기본 모델에 다시 병합하지 않고도 통합할 수 있는 패딩 인식(padding-aware) 초기화 프레임워크를 도입한다. DomainNet 및 NICO++에서 ViT-B/16과 ViT-L/16의 연합 미세조정 실험은 정확도-통신 트레이드오프 개선, 서버 연산 감소, 랭크 선택을 위한 하이퍼파라미터 탐색 제거를 보여준다. 코드는 https://github.com/DASS-Lab-Group/SpecTraL 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.