PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.07157v2cs.LG

적응형 서브 모델 연합 학습에서의 용량 교란 요인과 커버리지 보장

Capacity Confounds and Coverage Guarantees in Adaptive Sub-model Federated Learning

서브 모델 연합 학습(federated learning)은 자원이 제한된 클라이언트가 글로벌 모델의 너비(width)가 축소된 버전을 학습할 수 있도록 하지만, 기존 방식들은 디바이스 자원만을 기준으로 용량을 할당합니다. 이에 대한 자연스러운 다음 단계로, 학습에서 파생된 신호로 서브 모델 크기를 결정하는 최근 방법들에서 착안하여 서버가 이미 관찰한 업데이트를 통해 추정된 각 클라이언트의 데이터 이질성(data heterogeneity)에 따라 용량을 할당하는 방식을 고려해 볼 수 있습니다. 본 논문에서는 적응형 용량 할당 프레임워크인 HAS-FL을 테스트 케이스로 삼아 이러한 단계가 실현 가능한지 질문을 던집니다. 첫째, 재현 가능한 분할 상에서 실측 라벨 분포 다이버전스(divergence)를 기준으로 검증한 결과, 클라이언트 이질성에 대한 업데이트 다이버전스 추정치는 데이터가 아닌 용량에 지배됩니다. 두 이미지 벤치마크 및 모든 시드에서 이 추정치는 디바이스 용량과 강한 음의 상관관계를 보이며, 용량을 통제하고 나면 데이터 이질성과의 연관성은 0에 가깝거나 음수로 나타납니다. 서브 모델 업데이트로부터 클라이언트 통계량을 추정하는 모든 방법은 이전에 보고되지 않은 이러한 교란(confound)에 노출됩니다. 둘째, 적응형 할당에는 숨겨진 실패 모드가 존재합니다. 모든 클라이언트가 전체 너비 미만으로 제한될 경우, 커버되지 않은 매개변수(parameter)는 무작위 초기화(initialization) 상태로 남아 점진적으로 글로벌 모델을 손상시킵니다. 단순한 커버리지 보장은 이러한 실패를 제거하며 균일 할당이 붕괴하는 이유를 설명합니다. 셋째, 동일 예산 대조군(matched-budget control)을 통해 적응성이 기여하는 바를 명확히 밝힙니다. 동일한 평균 예산에 대한 무작위 할당은 두 이미지 벤치마크에서 시드 간 변동 범위 내로 적응형 정책과 일치하며, 자연 분할된 텍스트 벤치마크에서는 적응형 정책이 가장 많은 용량을 소비하면서도 세 가지 전략 중 가장 낮은 성능을 보입니다. 서브 모델 학습은 이차적으로(quadratically) 감소된 비용으로 제약이 있는 클라이언트를 수용하지만 전체 모델 학습 대비 상당한 정확도 손실을 초래하며, 이러한 정확도를 보호하는 것은 정교한 할당 지능이 아닌 매개변수 커버리지입니다.

arXiv:2405.11667v2cs.LG

간헐적 통신 하 분산 이질 학습에서 로컬 SGD의 한계와 잠재력

The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication

로컬 SGD는 분산 학습에서 널리 쓰이는 최적화 방법으로, 미니배치 SGD를 비롯한 다른 알고리즘들보다 실제로 더 나은 성능을 내는 경우가 많다. 그럼에도 불구하고 합리적인 데이터 이질성이 있는 설정에서 로컬 SGD의 우위를 이론적으로 증명하는 것은 어려워 왔으며, 이는 이론과 실제 사이에 상당한 격차를 만들어 왔다. 본 논문에서는 기존의 1차 데이터 이질성 가정 하에 로컬 SGD에 대한 새로운 하한(lower bound)을 제시하고, 이러한 가정만으로는 로컬 업데이트 단계의 효과성을 증명하기에 불충분함을 보인다. 또한 동일한 가정 하에서 가속 미니배치 SGD의 미니맥스(min-max) 최적성을 입증하며, 이는 여러 문제 클래스에 대한 분산 최적화에 대한 이해를 완전히 정리한다. 우리의 결과는 실제에서 로컬 SGD의 효과성을 이해하기 위해 더 나은 데이터 이질성 모델이 필요함을 강조한다. 이를 위해 고차 평활성(smoothness)과 이질성 가정을 고려하고, 데이터 이질성이 낮을 때 로컬 SGD가 미니배치 SGD보다 우월함을 시사하는 새로운 상한(upper bound)을 제공한다.

arXiv:2607.10970v1cs.LG

Enhanced Byzantine-Robust Federated Learning Via Truncated-Quadratic Loss for Heterogeneous Data

Federated learning distributes data among $n$ clients, making it vulnerable to malicious attacks and data heterogeneity, which together pose challenges for robust learning. To tackle this issue, centered clipping and Huber aggregators have been exploited for Byzantine robustness. In this paper, we first demonstrate their equivalence via convex conjugate theory, and show that they can yield biased solutions in the presence of outliers, leading to failure under high data heterogeneity and a substantial fraction of outliers. Next, we propose a new robust aggregation rule that utilizes the truncated-quadratic (TQ) loss, effectively mitigating the biases of existing methods, such as centered clipping and Huber aggregators. We show that our aggregator achieves order-optimal Byzantine-robust learning under nonconvex loss functions and heterogeneous data, ultimately enhancing the reliability of federated learning systems. Additionally, we provide a robust deviation estimation strategy for TQ, demonstrating its effectiveness. Furthermore, we show that TQ maintains robustness even when only an estimate of the number of Byzantine clients is available. Finally, experimental results on MNIST, Fashion-MNIST, and CIFAR-10, indicate that our aggregator provides better robustness performance than the competing techniques.

arXiv:2409.06067v3cs.AI

MLLM-LLaVA-FL: 멀티모달 대규모 언어 모델 보조 연합학습

MLLM-LLaVA-FL: Multimodal Large Language Model Assisted Federated Learning

MLLM-LLaVA-FL은 연합학습(FL) 환경에서 클라이언트 간 데이터 이질성과 롱테일 분포 문제를 해결하기 위해 서버 측에서 LLaVA 같은 멀티모달 대규모 언어 모델(MLLM)을 활용하는 3단계 프레임워크(전역 멀티모달 사전학습 → 연합 파인튜닝 → 전역 정렬)를 제안한다. 이 방식은 클라이언트 디바이스의 추가 연산 부담이나 그래디언트 전송 없이 인터넷 오픈소스 데이터를 효과적으로 활용하여, 기존 최신 연합학습 방법 대비 우수한 성능을 달성하면서도 프라이버시 보호를 강화한다.

arXiv:2607.03763v1cs.LG

FedACT: 데이터 이질성 하에서 강건한 트랜스포머 학습을 위한 연합 적응형 좌표 신뢰 변조

FedACT: Federated Adaptive Coordinate Trust Modulation for Robust Transformer Training under Data Heterogeneity

이질적인 클라이언트 데이터 환경에서 연합학습(Federated Learning)의 AdamW 학습 시 발생하는 좌표별 신뢰 불일치(coordinate trust mismatch) 문제를 해결하기 위해, 전역 보정된 적응형 방향을 토대로 좌표별 신뢰 점수에 따라 업데이트 크기를 재분배하는 FedACT를 제안한다. 비전 트랜스포머, CNN, LLM 사전학습 및 파인튜닝 실험에서 FedACT는 기존 연합 적응형 최적화 기준선 대비 일관된 성능 향상을 보이며, 특히 데이터 이질성이 강한 트랜스포머 모델에서 가장 큰 개선 효과를 나타냈다.

arXiv:2505.09854v3cs.LG

Chisme: 이질성 인식 고십 학습

Chisme: Heterogeneity-Aware Gossip Learning

엔드유저 장치의 성능이 향상되고 인터넷 엣지에서의 지능형 서비스 수요가 증가함에 따라, 분산 학습(distributed learning)은 지능형 엣지를 위한 핵심 기술로 부상했다. 연합 학습(federated learning, FL)과 분산형 연합 학습(decentralized FL, DFL)과 같은 기존 접근법은 클라이언트 간 프라이버시를 보존하는 분산 학습을 가능하게 하며, 고십 학습(gossip learning, GL) 접근법은 자원이 제한되고 연결성이 취약한 인프라 없는 환경에서의 잠재적 과제를 해결하기 위해 등장했다. 그러나 대부분의 분산 학습 접근법은 데이터 분포가 대체로 동질적이라고 가정하며, 클라이언트와 그들의 기저 데이터 분포의 이질성을 고려하거나 활용하지 않을 수 있다. 본 논문은 이질적인 데이터 분포, 간헐적 연결성, 희소한 네트워크 인프라 또는 그 부재가 특징인 네트워크 엣지 맥락에서 강건한 지능을 구현하는 과제를 해결하기 위해 설계된 새로운 완전 분산형 분산 학습 알고리즘인 Chisme를 소개한다. Chisme는 수신된 모델 교환으로부터 계산된 클라이언트 기저 데이터 분포 간 친화도(affinity)를 활용하여, 수신된 모델이 로컬 모델에 병합될 때 얼마나 많은 영향력을 갖는지를 결정한다. 이를 통해 클라이언트는 더 일반적인 지식을 구축하기 위한 광범위한 협력과 특정 지식을 구축하기 위한 더 선택적인 협력 사이를 전략적으로 균형을 맞출 수 있다. 우리는 네트워크 엣지에서 실행되는 실제 분산 지능형 시스템을 대표하는 다양한 네트워크 연결 조건을 고려하면서, 이미지 인식 및 시계열 예측 시나리오를 사용하여 Chisme를 현대적 접근법과 비교 평가한다. 실험 결과 Chisme는 거의 모든 경우에서 최신 엣지 지능 접근법을 능가함을 보여준다. Chisme를 사용하는 클라이언트는 더 빠른 학습 수렴, 학습 후 더 낮은 최종 손실, 그리고 클라이언트 간 더 낮은 성능 격차를 보인다.

arXiv:2606.26037v1stat.ML

FedReLa: 재레이블링을 통한 불균형 연합 학습

FedReLa: Imbalanced Federated Learning via Re-Labeling

연합 학습(Federated learning)에서 클라이언트 간 데이터 이질성과 전역 클래스 불균형이 함께 나타날 때 집계 모델의 결정 경계가 왜곡되는 문제를, FedReLa가 특징(feature) 의존적 레이블 재할당기로 로컬 샘플을 재레이블링해 전역 클래스 분포를 몰라도 교정하는 데이터 수준 방법으로 해결한다. 추가 통신·학습 부담 없이 기존 알고리즘과 결합 가능하며, 단계적 불균형과 롱테일(long-tailed) 데이터셋에서 소수 클래스와 전체 정확도를 크게 높여 이전 최고 성능을 능가한다.