Federated learning distributes data among $n$ clients, making it vulnerable to malicious attacks and data heterogeneity, which together pose challenges for robust learning. To tackle this issue, centered clipping and Huber aggregators have been exploited for Byzantine robustness. In this paper, we first demonstrate their equivalence via convex conjugate theory, and show that they can yield biased solutions in the presence of outliers, leading to failure under high data heterogeneity and a substantial fraction of outliers. Next, we propose a new robust aggregation rule that utilizes the truncated-quadratic (TQ) loss, effectively mitigating the biases of existing methods, such as centered clipping and Huber aggregators. We show that our aggregator achieves order-optimal Byzantine-robust learning under nonconvex loss functions and heterogeneous data, ultimately enhancing the reliability of federated learning systems. Additionally, we provide a robust deviation estimation strategy for TQ, demonstrating its effectiveness. Furthermore, we show that TQ maintains robustness even when only an estimate of the number of Byzantine clients is available. Finally, experimental results on MNIST, Fashion-MNIST, and CIFAR-10, indicate that our aggregator provides better robustness performance than the competing techniques.
P2P 가십 통신 이력 자체에서 합의를 도출하는 분산 연합학습(DFL) 프레임워크 gspDAG-FL을 제안하며, 노드 간 모델 페이로드는 이웃에게만 전달하되 풀 노드가 Hashgraph 방식의 가상 투표로 고유 모델-출처 튜플의 최종성을 확정한다. MNIST 분류와 Penn Treebank 언어 모델링 실험에서 비잔틴·지연 참여자가 혼재하는 환경에도 검증 기반 원장 FL에 근접한 학습 품질을 유지하면서 조율 병목을 줄이고 처리량을 향상시킴을 보인다.
PRISM-FCP는 연합 학습(FL) 환경에서 학습 단계의 모델 포이즈닝 공격을 부분 모델 공유(파라미터 $M/D$ 비율 전송)로 완화하고, 보정 단계의 비잔틴 기여를 히스토그램 기반 필터링으로 걸러내는 통신 효율적 컨포멀 예측(conformal prediction) 프레임워크다. UCI 초전도체 데이터셋 등 실험에서 기존 연합 컨포멀 예측(FCP) 대비 구간 팽창 없이 명목 커버리지를 유지하면서 통신량을 줄이는 성능을 입증했다.
강건한 분산 학습(robust distributed learning)에서 비잔틴 장애(Byzantine failures)와 데이터 포이즈닝(data poisoning)이 일반화(generalization)에 미치는 영향을 최초로 이론적으로 분석하여, 두 위협 모델 간에 근본적인 일반화 격차가 존재함을 증명하였다. 알고리즘 안정성(algorithmic stability) 분석을 통해, 비잔틴 장애 하에서의 안정성 저하 요인이 데이터 포이즈닝보다 엄밀히 더 크다는 타이트한 상하한을 도출하였다.
Recent work has established a fundamental trilemma between Byzantine robustness, local differential privacy (LDP), and optimization error in distributed learning. We show that this trilemma does not universally extend to generalization error, but instead depends critically on the privacy regime. Specifically, in the high-noise regime (strong privacy), we prove that increasing privacy reduces the generalization error, i.e., there is no tension between robustness and privacy. In the low-noise regime (weaker privacy), however, the tension between robustness and privacy reappears and increasing privacy indeed degrades generalization. Our theory explains this surprising non-monotonic behavior of the generalization error via matching lower and upper bounds on the algorithmic stability of Byzantine-robust distributed learning under LDP constraints. We corroborate and further analyze these theoretical findings with empirical evaluations.
비잔틴(Byzantine) 강건 연합 학습은 악의적이거나 손상된 클라이언트로부터 분산 모델 학습을 보호하되, 이들의 사적 데이터에 접근할 필요가 없도록 하는 것을 목표로 한다. FLTrust는 신뢰할 수 있는 서버 측 루트(root) 데이터셋을 도입하여 클라이언트 업데이트에 신뢰 점수를 부여함으로써 더 강건한 집계를 가능하게 함으로써 이 과제를 해결한다. 본 연구에서는 FLTrust의 계층적 확장인 FOGGYTRUST를 제안한다. FOGGYTRUST는 신뢰 계산을 포그(fog) 노드에 국한화하여, 전역적으로 이질적인 데이터를 더 잘 처리하면서도 로컬하게 동질적인 클라이언트 그룹 내에서는 강건성을 유지할 수 있게 한다. 또한, 이두(二層) 아키텍처가 로컬 신뢰 기반 집계와 FedAdam, SCAFFOLD와 같은 이질성 인식(heterogeneity-aware) 글로벌 옵티마이저를 결합함으로써, 신뢰 추정의 분포 불일치와 그룹 간 클라이언트 드리프트(client drift)를 동시에 해결할 수 있음을 보인다. 벤치마크 데이터셋들에 걸쳐 FOGGYTRUST는 더 어려운 이질적 설정에서 가장 큰 이득을 보이며, 특히 Krum 및 Trim 공격 하의 CIFAR-10에서 FLTrust 대비 50% 이상의 개선을 달성한다. 또한 실제 safari 데이터셋에서 FOGGYTRUST를 시험하여, 분산 야생동물 모니터링과 같이 사회적으로 영향력 있고 안전성(safety)이 중요한(safety-critical) 환경에서 강건한 연합 학습을 위한 계층적 신뢰 네트워크의 가능성을 보여준다.
탈중앙화 연합학습(DFL)에서 중앙 서버 전제의 비잔틴-강건 집계 기법이 보안에 취약한 문제를 해결하기 위해, 다중 필터로 비잔틴 공격을 식별·완화하고 동적 탈중앙 토폴로지의 강건성을 높이는 WFAgg 집계 알고리즘을 제안한다. IID 이미지 분류 실험에서 다양한 비잔틴 공격 하에서도 모델 정확도와 수렴을 유지하며 Multi-Krum·Clustering 등 중앙화 기반 최신 기법을 능가했다.
분산 학습(Decentralized Learning)에서 기밀성(confidentiality)과 비잔틴 행동(Byzantine behaviors)을 동시에 다루는 것은 어려운 문제입니다. 실제로 분산 학습에서 클라이언트는 데이터를 로컬에 유지하면서 머신러닝 모델을 학습하고, 모델 파라미터 또는 그라디언트를 이웃 집합과 공유합니다. 기밀성을 강화하려면 교환되는 모델 파라미터/그라디언트를 숨겨야 하는 반면(예: 암호화 기술 사용), 비잔틴 기여(Byzantine contributions)를 처리하려면 이를 검사해야 하는 경우가 많습니다. 따라서 대부분의 연구는 이러한 목표를 별도로 다룹니다. 최근 연구들은 모델 중독(model poisoning)에 대해 강건한 집계기를 구현하기 위해 안전한 다자간 계산(Secure Multi-Party Computation, MPC)을 사용하여 기밀성과 비잔틴 내성을 모두 강화할 것을 제안합니다. 그러나 이러한 솔루션은 확장성이 좋지 않습니다. 참여자 간의 전체 대 전체(all-to-all) 통신을 요구하거나, 계산 및 통신 부하가 네트워크 크기에 비례하여 증가하는 소수의 하위 집합에게 전체 계산을 위임하기 때문입니다. 본 논문에서는 기밀성과 비잔틴 견고성을 갖춘 분산 집계를 위한 프로토콜인 Giskard를 제안합니다. Giskard는 $n$개의 참여자를 크기가 $O(\log n)$인 위원회(committee) 트리로 구성하고, 각 위원회 내에서 BGW 방식의 MPC를 사용하여 값 도메인에 대한 위원회 적응형 분산 이진 검색을 통해 좌표별 근사 중앙값을 평가합니다. 우리는 보안 및 기밀성 속성을 증명하여 이론적으로, 그리고 최대 100만 명의 참여자가 참여하는 광범위한 실험을 통해 실험적으로 Giskard를 평가합니다. 가장 유사한 경쟁 방법들과 비교할 때, Giskard는 최대 $n/4$의 비잔틴 참여자 하에서 비교 가능한 모델 유틸리티를 보이면서 참여자별 통신 복잡도를 점근적으로 감소시킵니다.