arXiv:2505.00318

FedEMA: Federated Exponential Moving Averaging with Negative Entropy Regularizer in Autonomous Driving

Wei-Bin Kou, Guangxu Zhu, Bingyang Cheng, Shuai Wang, Ming Tang, Yik-Chung Wu

제출 2025-05-01

원문 초록

Street Scene Semantic Understanding (denoted as S3U) is a crucial but complex task for autonomous driving (AD) vehicles. Their inference models typically face poor generalization due to domain-shift. Federated Learning (FL) has emerged as a promising paradigm for enhancing the generalization of AD models through privacy-preserving distributed learning. However, these FL AD models face significant temporal catastrophic forgetting when deployed in dynamically evolving environments, where continuous adaptation causes abrupt erosion of historical knowledge. This paper proposes Federated Exponential Moving Average (FedEMA), a novel framework that addresses this challenge through two integral innovations: (I) Server-side model's historical fitting capability preservation via fusing current FL round's aggregation model and a proposed previous FL round's exponential moving average (EMA) model; (II) Vehicle-side negative entropy regularization to prevent FL models' possible overfitting to EMA-introduced temporal patterns. Above two strategies empower FedEMA a dual-objective optimization that balances model generalization and adaptability. In addition, we conduct theoretical convergence analysis for the proposed FedEMA. Extensive experiments both on Cityscapes dataset and Camvid dataset demonstrate FedEMA's superiority over existing approaches, showing 7.12% higher mean Intersection-over-Union (mIoU).

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13631v1cs.LG공통 태그 Privacy Preserving, Federated Learning

프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류

Private and Distributionally Robust Federated Multiclass Classification

자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.

arXiv:2610.10613v1cs.LG공통 태그 Privacy Preserving, Federated Learning

이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더

Temporal transformer CAN encoder with federated lightweight heads for anomaly detection

현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.

arXiv:2608.18749v3cs.LG공통 태그 Privacy Preserving, Federated Learning

프라이버시 보존 협력 학습을 위한 노이즈 앵커 정렬 기반 기하학적 데이터 섭동

Geometric Data Perturbation with Noisy-Anchor Alignment for Privacy-Preserving Collaborative Learning

기하학적 데이터 섭동(Geometric data perturbation)은 프라이버시 보존 협력 학습(collaborative learning)을 위한 원샷 표현(representation) 공유를 가능하게 합니다. 즉, 각 참여자는 자신의 비공개 데이터에 거리를 보존하는 비밀 변환을 적용한 뒤 결과 표현을 중앙 분석가에게 업로드합니다. 본 논문에서는 공모한 참여자가 분석가가 다른 참여자의 데이터를 재구성할 수 있도록 자신의 데이터와 변환을 공개하는 분석가-참여자 공모(collusion)를 연구합니다. 참여자별 독립적인 변환은 공개된 공통 변환을 통한 직접적인 역변환을 차단하지만, 업로드된 데이터를 호환되지 않는 좌표계에 남겨두어 통합 학습의 성능을 저하시킵니다. 데이터 협력(Data Collaboration) 분석은 분석가에게 숨겨둔 공통 앵커 행렬(anchor matrix)의 변환된 복사본들을 정렬하여 호환성을 복원합니다. 본 연구는 중심화된(centered) 앵커 행렬이 풀 칼럼 랭크(full column rank)를 가질 때, 이를 공개하는 공모자가 모든 참여자의 변환을 정확히 복구하고 노이즈 없는 비공개 표현의 역변환을 가능하게 함을 보여줍니다. 비공개 데이터 표현에 노이즈를 추가하는 것은 이러한 변환 복구 채널을 그대로 유지하며 상당한 효용(utility) 저하를 대가로 정보 유출을 줄입니다. 대신, 본 연구는 앵커 표현을 섭동시킵니다. 즉, 각 참여자는 변환된 앵커 표현만을 섭동시켜 비공개 데이터 업로드의 기하학적 구조를 보존하는 동시에, 알려진 앵커 기반 변환 복구를 노이즈 추정 문제로 전환합니다. 분석가는 일반화된 직교 프로크루스테스 문제(generalized orthogonal Procrustes problem)에 대한 스펙트럼 추정기(spectral estimator)를 사용하여 정렬을 추정합니다. 본 프로토콜에 대한 복구 공격을 분석하고 CelebA 및 VGGFace2 얼굴 이미지 데이터셋에서 두 노이즈 배치 방식을 비교합니다. 평가된 공모 공격 하에서, 노이즈 앵커 정렬(noisy-anchor alignment)은 낮은 신원 연결(identity-linkage) 수준에서도 더 높은 다운스트림 정확도를 유지합니다. 또한 참여자 수 실험을 통해 유사하게 측정된 연결 수준에서 더 큰 규모의 협력에 따른 효용 향상과 한계를 조사합니다.

arXiv:2610.01195v1cs.AI공통 태그 Privacy Preserving, Federated Learning

연합 에이전트 최적화

Federated Agent Optimization

대규모 언어 모델(LLM) 에이전트(agent)는 점차 비공개 환경에서 작동하며 작업 수행, 도구 사용, 피드백, 로컬 지식으로부터 가치 있는 경험을 축적하고 있습니다. 그러나 이러한 경험은 여러 조직에 분산되어 있으며 프라이버시 및 독점적 제약으로 인해 직접 공유될 수 없습니다. 에이전트의 역량이 모델(model) 파라미터를 넘어 메모리, 도구, 보상(reward), 기술 및 정형화된 지식으로 확장됨에 따라 기존의 연합학습(federated learning)은 이러한 환경에 불충분합니다. 본 논문에서는 원시 데이터, 완전한 궤적, 비공개 지식을 로컬에 유지하면서 통제된 정보 교환을 통해 분산된 에이전트들이 협력하여 개선할 수 있는 방법을 연구하는 연합 에이전트 최적화(Federated Agent Optimization, FAO)를 정식화합니다. 본 연구는 FAO를 에이전트 유용성, 프라이버시 유출, 통신 비용의 균형을 맞추는 다중 목적 최적화 문제로 정의하고, 정책, 메모리, 도구 사용, 보상, 정형화된 지식 및 기술 전반에 걸쳐 최적화 공간을 체계화합니다. 나아가 비공개 경험을 추상화, 보호, 집합 및 적응시켜 전이 가능한 역량으로 변환하는 방법을 구체화함으로써, 에이전트들이 직접적인 경험 공유 없이도 서로에게서 이점을 얻을 수 있는 통합된 관점을 제공합니다. 마지막으로 FAO의 주요 과제를 식별하고 신뢰할 수 있는 연합 에이전트 시스템을 향한 미래 연구의 유망한 방향들을 제시합니다.

arXiv:2610.01510v1cs.CV공통 태그 Autonomous Driving, Federated Learning

FedCKA: 다양한 주행 도메인 전반의 연합 3D 인지를 위한 표현 유도 층 개인화

FedCKA: Representation-Guided Layer Personalization for Federated 3D Perception Across Driving Domains

지능형 차량에서의 강건한 인지는 시간대, 위치 또는 날씨 변화와 같은 도메인 이동(domain shift) 상황에서도 신뢰성을 유지하는 3D 객체 검출기를 필요로 합니다. 그러나 비용이 많이 드는 주석 작업과 드물게 발생하는 이동으로 인해, 일부 환경은 단독 검출기를 학습(training)시키기 위한 충분한 데이터가 부족합니다. 연합 학습(Federated Learning)은 협업 모델(model) 학습을 위한 프라이버시 보존 프레임워크를 제공하여, 클라이언트가 다양한 환경에 걸친 공유 학습의 이점을 누릴 수 있도록 합니다. 하지만 이 프레임워크는 전통적으로 단일 글로벌 합의 모델에 의존하므로, 이질적인 로컬 데이터 분포 전반에서 우수한 성능을 발휘하는 데 어려움을 겪습니다. 모델의 일부 하위 집합을 적응시킴으로써 로컬 조건을 더 잘 포착할 수 있으나, 많은 개인화 접근법은 사전 정의된 층(layer) 분할이나 고정된 개인화 비율에 의존하여 클라이언트별 편차에 대한 적응을 제한합니다. 이러한 경직성을 줄이기 위해, 본 논문에서는 중심화 커널 정렬(CKA) 기반 전략을 통해 개인화와 글로벌화 간의 트레이드오프를 동적으로 다루는 FedCKA를 제안합니다. 구체적으로 FedCKA는 학습 과정 동안 로컬 클라이언트 모델과 글로벌 합의 모델 간의 층별 특징(feature) 유사도를 계산합니다. FedCKA는 층별 유사도 점수를 클라이언트별 집계 마스크로 변환함으로써, 표현 일관성이 있는 층을 선택적으로 공유합니다. nuScenes 기반의 통합 멀티 도메인 벤치마크(benchmark)에서 평가(evaluation)한 결과, FedCKA는 FedBN, FedRep, FedSelect를 포함한 기존 연합 기준선(baseline) 모델들을 능가하며 가장 강력한 기준선 대비 평균 NDS를 7%포인트 향상시키는 것으로 나타났습니다. 이러한 연구 결과는 위치, 날씨 및 조도 변화 전반에 걸쳐 강건한 연합 3D 인지를 위한 비교 벤치마크이자 유망한 방향성을 제시합니다. 코드는 https://github.com/j-verhoog/FedCKA 에서 확인할 수 있습니다.

arXiv:2609.27654v1stat.ML공통 태그 Privacy Preserving, Federated Learning

FedIncome: 데이터 주권 제약 하의 디지털 대출 소득 추정을 위한 연합학습

FedIncome: Federated Learning for Income Estimation in Digital Lending Under Data Sovereignty Constraints

디지털 대출 신청에서는 검증된 소득 정보를 확인할 수 없는 경우가 많아, 대출 기관이 신고 소득에 의존하게 되고 이로 인해 과대 대출, 지나치게 보수적인 대출 조건 제시, 또는 상환 능력이 있는 신청자에 대한 거절로 이어질 수 있습니다. 기관 간 데이터 공유 제약은 학습 데이터가 제한적인 소규모 대출 기관에 이 문제를 특히 어렵게 만듭니다. 본 논문에서는 기관들이 원시 차입자 기록을 하나로 모으지 않고도 공유 모델을 학습할 수 있도록 하는 소득 추정용 연합학습(federated learning) 프레임워크인 FedIncome을 소개합니다. 100만 건 이상의 LendingClub 대출을 $50$개 주(state) 단위 클라이언트로 분할하여 이질적인 대출 컨소시엄을 시뮬레이션합니다. 최고 성능의 연합학습 모델은 시간 외(out-of-time) $R^2=0.608$을 달성하였으며, 이는 풀링(pooling)된 중앙집중식 벤치마크의 $0.619$와 비교됩니다. 소규모 표본 클라이언트는 풀링된 중앙집중식 벤치마크 대비 시간 외 $R^2$가 평균 $3.8$퍼센트포인트 향상되었으며, 적합된 클라이언트 수준 관계에 따르면 이 설정에서 경험적 교차점은 약 $4,790$개의 학습 관측치로 나타났습니다. 풀링이 불가능하고 적절한 대안이 로컬 전용 학습인 경우, 연합학습은 모든 표본 크기 그룹에서 시간 외 성능을 향상시키며, 데이터가 부족한 클라이언트에서 가장 큰 향상을 보입니다. 또한 연합학습으로 추정한 소득을 주(state) 및 소득별 부채상환비율(debt-to-income) 임계값과 결합하였습니다. 회고적 의사결정 분석에서 신고 소득을 연합학습 추정치로 대체하면, 관측된 부도율의 변화는 소폭에 그치면서 시뮬레이션된 승인율이 증가합니다. FedIncome은 풀링 학습 대비 전체적인 손실(loss)은 거의 없이, 로컬 전용 추정 대비로는 더 큰 향상을 제공하며 데이터 지역성 제약 하에서의 협력 학습을 지원합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.