arXiv:2211.09406

Personalized Federated Learning for Multi-task Fault Diagnosis of Rotating Machinery

Sheng Guo, Zengxiang Li, Hui Liu, Shubao Zhao, Cheng Hao Jin

제출 2022-11-17

원문 초록

Intelligent fault diagnosis is essential to safe operation of machinery. However, due to scarce fault samples and data heterogeneity in field machinery, deep learning based diagnosis methods are prone to over-fitting with poor generalization ability. To solve the problem, this paper proposes a personalized federated learning framework, enabling multi-task fault diagnosis method across multiple factories in a privacypreserving manner. Firstly, rotating machines from different factories with similar vibration feature data are categorized into machine groups using a federated clustering method. Then, a multi-task deep learning model based on convolutional neural network is constructed to diagnose the multiple faults of machinery with heterogeneous information fusion. Finally, a personalized federated learning framework is proposed to solve data heterogeneity across different machines using adaptive hierarchical aggregation strategy. The case study on collected data from real machines verifies the effectiveness of the proposed framework. The result shows that the diagnosis accuracy could be improved significantly using the proposed personalized federated learning, especially for those machines with scarce fault samples.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13631v1cs.LG공통 태그 Fault Diagnosis, Federated Learning

프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류

Private and Distributionally Robust Federated Multiclass Classification

자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.

arXiv:2604.00050v3cs.LG공통 태그 Federated Learning, Personalized Federated Learning

언어 모델의 작업 중심 개인화 연합 미세조정

Task-Centric Personalized Federated Fine-Tuning of Language Models

연합학습(Federated Learning, FL)은 다양한 작업에 대한 분산되고 비공개적인 데이터셋을 이용해 언어 모델을 학습시키는 유망한 기법으로 부상했다. 그러나 이질적인 작업에서 학습된 모델들을 집계하면 개별 클라이언트의 전체 성능이 저하되는 경우가 많다. 이 문제를 해결하기 위해 개인화 연합학습(Personalized FL, pFL)은 각 클라이언트의 데이터 분포에 맞춘 모델을 만드는 것을 목표로 한다. 이러한 접근법들은 로컬 성능을 향상시키지만, 일반적으로 다음 두 가지 측면에서 견고성이 부족하다: (i) 일반화(generalization): 클라이언트가 보지 못한 작업에 대해 예측을 수행해야 하거나 데이터 분포의 변화에 직면하는 경우, (ii) 클라이언트 내 작업 간섭(intra-client tasks interference): 단일 클라이언트의 데이터가 로컬 학습 중 서로 간섭할 수 있는 여러 분포를 포함하는 경우. 이 두 가지 과제를 해결하기 위해, 우리는 각 클라이언트가 아니라 각 작업에 대해 특화된 모델을 구축하는 클러스터링 기반 pFL인 FedRouter를 제안한다. FedRouter는 어댑터(adapter)를 특정 작업과 연결하기 위해 두 가지 클러스터링 메커니즘을 사용하여 모델을 개인화한다. 로컬 클러스터링은 어댑터를 작업 데이터 샘플과 연관시키고, 글로벌 클러스터링은 서로 다른 클라이언트의 유사한 어댑터들을 연관시켜 작업 중심의 개인화된 모델을 구성한다. 또한, 우리는 생성된 클러스터를 기반으로 테스트 샘플을 최적의 어댑터로 라우팅하는 평가 라우터(evaluation router) 메커니즘을 제안한다. 멀티태스크 데이터셋에서 기존 접근법들과 우리의 방법을 비교하는 실험에서, FedRouter는 이러한 어려운 시나리오에서 강한 복원력을 보여주며, 작업 간섭 상황에서는 최대 6.1%, 일반화 평가에서는 최대 136%의 상대적 성능 향상을 달성했다.

arXiv:2603.19617v2cs.LG공통 태그 Federated Learning, Personalized Federated Learning

제약이 있는 개인화 학습을 위해 보장이 제공되는 국소 페널티 기반 교차 추정 연합 학습법

A Locally Penalized Cross-Estimate Federated Method with Guarantees for Constrained Personalized Learning

연합 학습(Federated Learning, FL)은 분산 최적화(distributed optimization) 문제를 해결하기 위한 통신 효율적인 프레임워크입니다. 표준 FL 방식은 로컬 업데이트를 모든 에이전트(agent)가 공유하는 단일 글로벌 모델(model)로 집계하여 사실상 합의를 강제합니다. 그러나 이종(heterogeneous) 로컬 제약 조건 하에서는 공통의 실행 가능한(feasible) 모델이 지나치게 제한적이거나 아예 존재하지 않을 수 있습니다. 기존의 제약 조건 기반 FL 방식은 대부분 이러한 공유 모델 구조를 유지하므로, 에이전트별로 상이한 실행 가능 집합이 주어지는 환경에서의 개인화를 직접적으로 다루지 못합니다. 본 연구에서는 협력적 목적 함수를 통해 모델들을 결합하면서 각 에이전트에 서로 다른 실행 가능한 모델을 할당하는 제약 조건 기반 개인화 연합 학습 문제를 다룹니다. 이를 위해 국소 페널티 기반 교차 추정 연합 평균화(Locally Penalized Cross-Estimate Federated Averaging, PCE-FedAvg)를 제안합니다. 이 방식에서 각 에이전트는 자체 모델과 다른 에이전트들의 모델에 대한 추정치를 포함하는 다중 블록 벡터를 유지하며, 실행 가능성 페널티는 자신의 블록에만 국소적으로 적용합니다. 서버는 해당하는 블록들을 개별적으로 집계하므로, 에이전트가 로컬 제약 집합을 명시적으로 공개할 필요 없이 개인화를 보존할 수 있습니다. 임의의 $ε>0$에 대해, 본 논문은 유한 시간(finite-time) 상한 및 하한 부최적성(suboptimality) 경계와 에이전트별 제곱 비실행가능성(squared infeasibility) 경계를 확립하여, 각각 $\mathcal{O}(ε^{-2})$ 및 $\mathcal{O}(ε^{-1})$의 통신 복잡도를 도출합니다. MNIST 및 CIFAR-10에 대한 실험은 이러한 이론적 결과를 뒷받침합니다.

arXiv:2610.00693v1cs.CV공통 태그 Federated Learning, Personalized Federated Learning

FedMAD: 원격 탐사(Remote Sensing) 이미지 분류를 위한 연합학습(Federated Learning)에서의 변조 인지 방향성 집계

FedMAD: Modulation-Aware Directional Aggregation for Federated Learning in Remote Sensing Image Classification

연합학습(Federated Learning, FL)은 로컬 데이터에 직접 접근하지 않고도 분산된 원격 탐사(Remote Sensing, RS) 이미지 아카이브 전반에 걸쳐 협력적인 모델 학습을 가능하게 하기 때문에 최근 원격 탐사 분야에서 주목받고 있다. 그러나 클라이언트 간 데이터 분포가 이질적인 경우 FL 성능이 크게 저하되는데, 이는 지리적 차이, 계절 변화, 그리고 서로 다른 영상 취득 및 대기 조건으로 인해 흔히 발생한다. 이러한 문제를 해결하기 위해 본 논문에서는 원격 탐사 이미지 분류 문제를 위한 새로운 개인화된 FL 프레임워크(FedMAD로 명명)를 제안한다. 제안된 프레임워크는 전역적으로 전이 가능한 표현을 유지하면서 클라이언트별 특징을 보존하기 위해 전역적으로 공유되는 표현 파라미터와 클라이언트별 적응 파라미터를 분리한다. 이는 경량 변조 모듈과 로컬 배치 정규화 계층을 백본 네트워크에 통합함으로써 달성된다. 전역적으로 공유되는 파라미터는 클라이언트 간에 협력적으로 최적화되지만, 클라이언트별 파라미터는 도메인별 특징적 특성을 보존하기 위해 로컬에 유지된다. 또한 FedMAD는 로컬 변조 업데이트의 정렬 정도에 따라 각 클라이언트에 대한 집계 중요도를 동적으로 조정하는 변조 인지 방향성 집계 전략을 도입한다. 이를 통해 전역 최적화 과정은 이질적인 데이터 분포에서 비롯된 상충하는 클라이언트 업데이트를 억제하는 동시에 일관된 적응 행동을 보이는 클라이언트의 기여도를 강화할 수 있다. BigEarthNet-S2 및 EuroSAT 데이터셋에서 얻은 실험 결과는 이질적인 원격 탐사 데이터 분포 하에서 FedMAD가 최신 FL 알고리즘들과 비교하여 효과적임을 보여준다. 제안된 프레임워크의 코드는 https://git.tu-berlin.de/rsim/fedmad 에서 공개될 예정이다.

arXiv:2610.01510v1cs.CV공통 태그 Federated Learning, Personalized Federated Learning

FedCKA: 다양한 주행 도메인 전반의 연합 3D 인지를 위한 표현 유도 층 개인화

FedCKA: Representation-Guided Layer Personalization for Federated 3D Perception Across Driving Domains

지능형 차량에서의 강건한 인지는 시간대, 위치 또는 날씨 변화와 같은 도메인 이동(domain shift) 상황에서도 신뢰성을 유지하는 3D 객체 검출기를 필요로 합니다. 그러나 비용이 많이 드는 주석 작업과 드물게 발생하는 이동으로 인해, 일부 환경은 단독 검출기를 학습(training)시키기 위한 충분한 데이터가 부족합니다. 연합 학습(Federated Learning)은 협업 모델(model) 학습을 위한 프라이버시 보존 프레임워크를 제공하여, 클라이언트가 다양한 환경에 걸친 공유 학습의 이점을 누릴 수 있도록 합니다. 하지만 이 프레임워크는 전통적으로 단일 글로벌 합의 모델에 의존하므로, 이질적인 로컬 데이터 분포 전반에서 우수한 성능을 발휘하는 데 어려움을 겪습니다. 모델의 일부 하위 집합을 적응시킴으로써 로컬 조건을 더 잘 포착할 수 있으나, 많은 개인화 접근법은 사전 정의된 층(layer) 분할이나 고정된 개인화 비율에 의존하여 클라이언트별 편차에 대한 적응을 제한합니다. 이러한 경직성을 줄이기 위해, 본 논문에서는 중심화 커널 정렬(CKA) 기반 전략을 통해 개인화와 글로벌화 간의 트레이드오프를 동적으로 다루는 FedCKA를 제안합니다. 구체적으로 FedCKA는 학습 과정 동안 로컬 클라이언트 모델과 글로벌 합의 모델 간의 층별 특징(feature) 유사도를 계산합니다. FedCKA는 층별 유사도 점수를 클라이언트별 집계 마스크로 변환함으로써, 표현 일관성이 있는 층을 선택적으로 공유합니다. nuScenes 기반의 통합 멀티 도메인 벤치마크(benchmark)에서 평가(evaluation)한 결과, FedCKA는 FedBN, FedRep, FedSelect를 포함한 기존 연합 기준선(baseline) 모델들을 능가하며 가장 강력한 기준선 대비 평균 NDS를 7%포인트 향상시키는 것으로 나타났습니다. 이러한 연구 결과는 위치, 날씨 및 조도 변화 전반에 걸쳐 강건한 연합 3D 인지를 위한 비교 벤치마크이자 유망한 방향성을 제시합니다. 코드는 https://github.com/j-verhoog/FedCKA 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.