통신 효율적인 비잔틴 강건 연합학습을 위한 투영 기반 벌점 그래디언트 추적
Projected Penalty-Gradient Tracking for Communication-Efficient Byzantine-Resilient Federated Learning
한국어 초록
임의의 정보를 업로드할 수 있는 비잔틴 공격자가 있을 때, 이질적인 데이터셋으로 통신 효율적인 연합학습을 수행하는 방법을 연구한다. 벌점 기반 방법은 벌점 함수의 그래디언트가 유계라는 성질을 이용해 각 워커의 영향력을 제한한다. 그러나 업로드를 압축하면 비잔틴 워커가 서버에서 상한 없이 상태를 누적시킬 수 있으므로 이 제한이 사라진다. 압축 업로드에서도 비잔틴 강건성을 유지하기 위해 투영 기반 벌점 그래디언트 추적 프레임워크를 제안한다. 정상 워커는 각각 벌점 그래디언트의 압축 잔차를 업로드하고, 서버는 복원한 각 상태를 벌점 그래디언트의 알려진 구 영역에 투영한다. 임의의 수축형 압축기를 사용할 수 있으며, 이를 바탕으로 두 알고리즘을 제시한다. 일관된 희소화를 쓰는 장애 강건 근접 그래디언트(FRPG-CS)는 새로 추출한 예비 행으로 공유 마스크를 보호한다. 지연 집계 FRPG(LAG-FRPG)는 이벤트가 발생할 때 업로드한다. 매끄럽고 강하게 볼록한 손실에 대해 목적함수 격차 기댓값의 유한 시간 상한을 구한다. 비잔틴 오류의 하한은 압축기와 무관하고, 압축 오차는 최적화 오차보다 빠르게 감소한다. 지연 업로드 횟수의 기댓값도 제한하고, 유한한 벌점으로 인한 모델 바이어스를 최적화 오차와 구분하는 보장 조건을 도출한다. MNIST와 Fashion-MNIST 실험에서 제안 알고리즘은 Min-Max 공격을 받는 조건에서 열두 방법 가운데 정확도가 가장 높았다. 공격이 없을 때의 정확도에서는 압축 모멘텀 기준선이, 총통신량에서는 국소 갱신 기준선이 각각 더 유리했다.
원문 초록
We investigate communication-efficient federated learning over heterogeneous datasets in the presence of Byzantine adversaries capable of uploading arbitrary information. Penalty-based methods bound the influence of each worker through the bounded gradient of a penalty function; however, the bound is lost once the uploads are compressed, since a Byzantine worker can accumulate an unbounded state at the server. To retain the Byzantine resilience under compressed uploads, we propose a projected penalty-gradient tracking framework, where each honest worker uploads a compressed residual of its penalty gradient and the server projects each reconstructed state onto the known penalty-gradient ball. The framework accommodates any contractive compressor and yields two algorithms: fault-resilient proximal gradient with consistent sparsification (FRPG-CS), whose shared mask is protected by freshly drawn reserve rows, and lazily aggregated FRPG (LAG-FRPG), whose uploads are event-triggered. For smooth and strongly convex losses, we establish a finite-time bound on the expected objective gap, where the Byzantine error floor is independent of the compressor and the compression error decays faster than the optimization error. We also bound the expected number of lazy uploads and derive certificates that separate the finite-penalty model bias from the optimization error. Experiments on MNIST and Fashion-MNIST show that the proposed algorithms attain the highest accuracy among twelve methods under the Min-Max attack, whereas a compressed-momentum benchmark and a local-update benchmark remain preferable in attack-free accuracy and total traffic, respectively.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22929v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.