연합 군집화(federated clustering)는 여러 병원에 걸친 환자 층화(patient stratification) 및 분산된 금융 데이터셋 전반의 고객 세분화와 같은 응용 분야를 지원할 수 있습니다. 책임감 있는 인공지능(Responsible AI)은 인구통계학적 집단의 공정한 대표성을 보장하고, GDPR의 잊힐 권리(right to erasure)와 같은 권리에서 비롯된 데이터 삭제 지원을 요구합니다. 이러한 목표들은 상호작용합니다. 즉, 레코드를 삭제하면 집단 간의 균형이 바뀌고 남아 있는 모집단의 군집화 결과가 변경될 수 있습니다. 본 연구에서는 가장 가까운 중심점까지의 최대 집단 평균 제곱 거리를 최소화하는 것을 목표로 하는 연합 사회적 공정 $k$-평균($k$-means)에 대한 정확한 머신 언러닝(exact machine unlearning)을 연구합니다. 본 접근법은 각 집단별로 독립된 로컬 요약(summary)을 유지하므로, 글로벌 공정성 가중치가 변경되더라도 영향을 받지 않은 기관의 요약은 유효하게 유지됩니다. 두 집단의 경우, 이상적인 샘플링 하에서 클라이언트 집단 비율과 무관한 초기화(initialization) 근사 보장을 증명하며, 동일 시드 재생(same-seed replay)이 재학습을 정확히 재현함을 보입니다. 재사용의 이점은 전체 클라이언트가 탈퇴할 때 가장 두드러집니다. 3개의 데이터셋에 걸쳐 재생 방식은 초기화 전용 모델(model)에 대해 재학습보다 $35.8\times$ 더 빠르며, 최악 집단 비용을 개선하는 1회 및 2회의 공정 정제 라운드 적용 시에도 각각 $2.4\times$ 및 $1.7\times$ 더 빠른 속도를 유지합니다. 개별 레코드 삭제의 경우 성능 향상은 약 $1.06\times$로 미미하며, 캐시된 할당을 검증하는 비용이 절감되는 비용보다 더 클 수 있습니다. 이러한 결과는 정확한 언러닝이 계산을 유익하게 재사용할 수 있는 영역을 보여줍니다. 코드 및 재현성 자료는 https://github.com/arareddy/mufsc 에서 확인할 수 있습니다.
자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.
연합학습(FL)은 분산된 클라이언트 데이터로부터 공유 글로벌 모델을 최적화하는 것을 목표로 합니다. 이러한 방식은 평균 성능에는 효과적이지만, 특히 통계적으로 이질적인(heterogeneous) 데이터 분포 하에서는 클라이언트 간에 불공정한 성능을 초래할 수 있습니다. 기존의 공정성 인식 및 다중 목적 연합학습 방법들은 클라이언트 재가중치 부여(re-weighting), 그래디언트(gradient) 보정, 또는 공통 하강(common-descent) 정식화를 통해 이를 다루지만, 종종 글로벌 최적화 방향을 변경하거나 클라이언트의 목적을 대칭적으로 취급합니다. 본 논문에서는 글로벌 최적화 목적과 클라이언트 보호를 분리하는 우선순위 제약 연합 최적화 프레임워크인 FedPCD를 제안합니다. FedPCD는 기존의 연합 집계를 기본(primary) 목적으로 보존하면서, 클라이언트 성능 제약을 충족하는 데 필요한 최소한의 보정만을 허용합니다. 이질적인 연합학습 벤치마크 전반에서 FedPCD는 최신(SOTA) 베이스라인들을 일관되게 능가하여 모든 구성에서 가장 높은 글로벌 정확도를 달성하고 거의 모든 구성에서 하위 10% 클라이언트 정확도를 선도했습니다. 나아가 FedPCD는 글로벌 정확도와 클라이언트 성능 변동성 사이에서 경쟁력 있는 트레이드오프를 유지합니다. 이러한 트레이드오프를 넘어, FedPCD는 훨씬 적은 통신 라운드로 동등하거나 우수한 성능에 도달하며 더 빠른 실증적 수렴을 입증합니다.
여러 기관이 각자의 비공개 지식 편집 요청을 보유하고 있으며, 원본 편집 요청을 공유하지 않고 이를 단일 대규모 언어 모델(LLM)에 통합하고자 할 수 있습니다. AlphaEdit과 같은 영공간(null-space) 제약 기반 편집 방식은 각 업데이트가 무관한 지식을 온전히 보존하도록 수학적으로 보장하며, CollabEdit과 같은 협업 프레임워크는 데이터 공유 없이 여러 클라이언트의 편집 내용을 취합합니다. 이 두 방식을 결합하는 것은 언뜻 단순해 보입니다. 그러나 본 논문에서는 이러한 단순한 결합이 구조적으로 실패함을 보이고 그 원인을 규명합니다. 이 분석을 바탕으로 FedAlphaEdit을 제안합니다. 우리가 아는 한, 이는 기존 지식을 보존하기 위한 단일 영공간 원칙 하에 로컬 편집과 서버 측 병합 규칙을 모두 정렬하는 최초의 협업적 지식 편집 프레임워크입니다. FedAlphaEdit은 영공간 정렬 병합(null-space-aligned merging)을 기반으로 구축되며, 클라이언트는 투영된 통계량을 공유하고 서버는 원샷 이상화(one-shot idealization) 조건에서 모든 항목을 한곳에서 편집한 결과를 증명 가능하게 복원합니다. 실증적으로 제안된 방법은 이러한 붕괴 현상을 해결하고, 두 가지 아키텍처 계열 전반에서 편집 성공률과 지식 보존율을 중앙 집중식 편집 수준에 근접하게 동시에 끌어올립니다. 따라서 FedAlphaEdit은 병원이나 금융 기관처럼 원본 편집 데이터를 공유할 수 없는 기관들이 모든 사실을 한곳에서 편집하는 것에 가깝게 근사하여 공유 모델을 공동으로 유지 관리할 수 있도록 지원합니다.
현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.
탈중앙화 학습(decentralized learning)의 확장은 클라이언트 수 $N$뿐만 아니라 정보 전파 및 합의 역학도 변화시킵니다. 본 논문에서는 데이터 할당, 토폴로지 의존적 혼합(mixing), 통신 용량이 동시에 변할 수 있으므로 $N$의 증가 효과를 단독으로 이해할 수 없다고 주장합니다. 저자들은 $N\in\{10,50,100,200\}$인 CIFAR-10 환경에서 차수(degree)가 2인 Ring, Static Random 그래프, 그리고 친구의 친구(friend-of-friend) 탐색에 기반한 국소 적응형 토폴로지 과정인 LFHE(Local-First Heuristic Evolution)를 비교하며 이러한 결합된 효과를 연구합니다. Ring은 분석적으로 명확한 실패 모드를 제공합니다. Metropolis 스펙트럼 갭이 $Θ(N^{-2})$로 감소하여, 모집단이 증가함에 따라 모델 불일치의 축소가 점진적으로 느려짐을 의미합니다. 실험 결과, 명목상의 국소 데이터셋 크기를 고정하면 고정된 전체 데이터셋을 더 많은 클라이언트에 분할할 때 관찰되는 외견상의 모집단 불이익이 실질적으로 감소하는 것으로 나타났습니다. 나머지 성능 저하는 통신 구조에 크게 의존합니다. Ring은 높은 불일치 상태에 진입하는 반면, Static Random과 LFHE는 합의 상태에 가깝게 유지됩니다. LFHE의 차수 임계값을 높이면 정확도와 합의가 더욱 향상되지만, 모델 전송 비용이 상당히 증가합니다. 이러한 결과는 탈중앙화 확장이 클라이언트 수 단독이 아닌, 결합된 학습 및 통신 역학에 의해 지배된다는 점을 보여줍니다.
서브 모델 연합 학습(federated learning)은 자원이 제한된 클라이언트가 글로벌 모델의 너비(width)가 축소된 버전을 학습할 수 있도록 하지만, 기존 방식들은 디바이스 자원만을 기준으로 용량을 할당합니다. 이에 대한 자연스러운 다음 단계로, 학습에서 파생된 신호로 서브 모델 크기를 결정하는 최근 방법들에서 착안하여 서버가 이미 관찰한 업데이트를 통해 추정된 각 클라이언트의 데이터 이질성(data heterogeneity)에 따라 용량을 할당하는 방식을 고려해 볼 수 있습니다. 본 논문에서는 적응형 용량 할당 프레임워크인 HAS-FL을 테스트 케이스로 삼아 이러한 단계가 실현 가능한지 질문을 던집니다. 첫째, 재현 가능한 분할 상에서 실측 라벨 분포 다이버전스(divergence)를 기준으로 검증한 결과, 클라이언트 이질성에 대한 업데이트 다이버전스 추정치는 데이터가 아닌 용량에 지배됩니다. 두 이미지 벤치마크 및 모든 시드에서 이 추정치는 디바이스 용량과 강한 음의 상관관계를 보이며, 용량을 통제하고 나면 데이터 이질성과의 연관성은 0에 가깝거나 음수로 나타납니다. 서브 모델 업데이트로부터 클라이언트 통계량을 추정하는 모든 방법은 이전에 보고되지 않은 이러한 교란(confound)에 노출됩니다. 둘째, 적응형 할당에는 숨겨진 실패 모드가 존재합니다. 모든 클라이언트가 전체 너비 미만으로 제한될 경우, 커버되지 않은 매개변수(parameter)는 무작위 초기화(initialization) 상태로 남아 점진적으로 글로벌 모델을 손상시킵니다. 단순한 커버리지 보장은 이러한 실패를 제거하며 균일 할당이 붕괴하는 이유를 설명합니다. 셋째, 동일 예산 대조군(matched-budget control)을 통해 적응성이 기여하는 바를 명확히 밝힙니다. 동일한 평균 예산에 대한 무작위 할당은 두 이미지 벤치마크에서 시드 간 변동 범위 내로 적응형 정책과 일치하며, 자연 분할된 텍스트 벤치마크에서는 적응형 정책이 가장 많은 용량을 소비하면서도 세 가지 전략 중 가장 낮은 성능을 보입니다. 서브 모델 학습은 이차적으로(quadratically) 감소된 비용으로 제약이 있는 클라이언트를 수용하지만 전체 모델 학습 대비 상당한 정확도 손실을 초래하며, 이러한 정확도를 보호하는 것은 정교한 할당 지능이 아닌 매개변수 커버리지입니다.
연합학습(FL)은 개인 데이터를 공유하지 않고 로컬 업데이트를 집계함으로써 여러 클라이언트가 글로벌 모델을 협력하여 학습할 수 있도록 지원합니다. 본 연구에서는 각 클라이언트가 독립된 조직을 대표하는 크로스 사일로(cross-silo) 연합학습에 초점을 맞춥니다. 그러나 크로스 사일로 연합학습은 기여하지 않고 글로벌 모델을 획득하기 위해 실제 학습을 수행하지 않은 채 가짜 모델 파라미터를 제출하는 클라이언트인 무임승차자(free-rider) 문제에 직면할 수 있습니다. Chen 등은 모델 파라미터의 가중치 진화 빈도(WEF)를 기반으로 한 무임승차자 탐지 방법을 제안했습니다. 이 탐지 방식은 프록시 데이터셋이나 사전학습이 모두 필요하지 않기 때문에 실용적입니다. 그럼에도 불구하고 초기 라운드에는 정직하게 행동하다가 이후 무임승차로 전환하는 '동적' 무임승차자를 탐지하는 데 어려움을 겪으며, 특히 델타 가중치 공격 및 본 논문에서 새로 제안하는 적응형 WEF 위장 공격과 같은 글로벌 모델 모방 공격 환경에서 더욱 그러합니다. 본 논문에서는 이전에 브로드캐스트된 글로벌 모델을 활용하여 서버 측에서 잠재적인 글로벌 모델 모방 공격의 WEF 패턴을 시뮬레이션하고, 제출된 WEF 패턴이 시뮬레이션된 패턴과 유사한 클라이언트를 식별하는 새로운 탐지 방법인 S2-WEF를 제안합니다. 다양한 무임승차자 공격 전략을 처리하기 위해, S2-WEF는 이러한 시뮬레이션 기반 유사도 점수와 제출된 WEF 간의 상호 비교를 통해 계산된 편차 점수를 결합하며, 2차원 클러스터링 및 점수별 분류를 통해 정상 클라이언트와 무임승차자 클라이언트를 분리합니다. 이 방법은 프록시 데이터셋이나 사전학습 없이도 학습 도중 무임승차자로 전환하는 클라이언트를 동적으로 탐지할 수 있도록 합니다. 우리는 4개의 데이터셋과 5가지 공격 유형에 걸쳐 광범위한 실험을 수행하여, S2-WEF가 다양한 설정에서 견고한 동적 무임승차 탐지 기능을 제공함을 입증합니다.
연합학습(Federated Learning, FL)은 다양한 작업에 대한 분산되고 비공개적인 데이터셋을 이용해 언어 모델을 학습시키는 유망한 기법으로 부상했다. 그러나 이질적인 작업에서 학습된 모델들을 집계하면 개별 클라이언트의 전체 성능이 저하되는 경우가 많다. 이 문제를 해결하기 위해 개인화 연합학습(Personalized FL, pFL)은 각 클라이언트의 데이터 분포에 맞춘 모델을 만드는 것을 목표로 한다. 이러한 접근법들은 로컬 성능을 향상시키지만, 일반적으로 다음 두 가지 측면에서 견고성이 부족하다: (i) 일반화(generalization): 클라이언트가 보지 못한 작업에 대해 예측을 수행해야 하거나 데이터 분포의 변화에 직면하는 경우, (ii) 클라이언트 내 작업 간섭(intra-client tasks interference): 단일 클라이언트의 데이터가 로컬 학습 중 서로 간섭할 수 있는 여러 분포를 포함하는 경우. 이 두 가지 과제를 해결하기 위해, 우리는 각 클라이언트가 아니라 각 작업에 대해 특화된 모델을 구축하는 클러스터링 기반 pFL인 FedRouter를 제안한다. FedRouter는 어댑터(adapter)를 특정 작업과 연결하기 위해 두 가지 클러스터링 메커니즘을 사용하여 모델을 개인화한다. 로컬 클러스터링은 어댑터를 작업 데이터 샘플과 연관시키고, 글로벌 클러스터링은 서로 다른 클라이언트의 유사한 어댑터들을 연관시켜 작업 중심의 개인화된 모델을 구성한다. 또한, 우리는 생성된 클러스터를 기반으로 테스트 샘플을 최적의 어댑터로 라우팅하는 평가 라우터(evaluation router) 메커니즘을 제안한다. 멀티태스크 데이터셋에서 기존 접근법들과 우리의 방법을 비교하는 실험에서, FedRouter는 이러한 어려운 시나리오에서 강한 복원력을 보여주며, 작업 간섭 상황에서는 최대 6.1%, 일반화 평가에서는 최대 136%의 상대적 성능 향상을 달성했다.
그레인저 인과성(Granger causality)은 다변량 시간 시계열(time series)에서 예측적 의존 관계를 식별한다. 데이터를 공유할 수 없는 분산 환경에서, 연합 인과 학습(federated causal learning)은 공동 분석을 가능하게 한다. 대부분의 연합 인과 학습 기법은 클라이언트들이 동일한 특성(feature)을 관측한다고 가정하며, 인과 관계를 점 추정값(point estimate)으로 추론할 뿐 공식적인 불확실성 정량화는 거의 수행하지 않는다. 이러한 가정은 클라이언트들이 서로 다른 특성을 관측하며 목표가 클라이언트 간 의존 관계(엣지, edge)를 추정하는 것인 많은 산업 시스템에서는 성립하지 않는다. 이러한 의존 관계는 반복적인 클라이언트-서버 상호작용(iteration)을 통해 간접적으로 추정되어야 한다. 클라이언트 데이터와 모델 매개변수에서 발생하는 불확실성은 이 과정을 통해 전파되며, 이로 인해 점 추정값만으로는 클라이언트 간 엣지를 평가하기에 충분하지 않다. 본 논문은 이러한 불확실성 전파를 특성화하고, 엣지별 분산(variance)을 이용하여 실제 클라이언트 간 의존 관계와 허위로 추정된 엣지를 구별한다. 우리는 클라이언트 데이터의 변동성에서 발생하는 우연적 불확실성(aleatoric uncertainty)과 모델 매개변수에서 발생하는 인식적 불확실성(epistemic uncertainty)을 고려한다. 우리는 클라이언트-서버 반복 과정에 대한 닫힌 형태(closed-form)의 분산 재귀식과 정상상태(steady-state) 분산을 도출한다. 우리는 초기 모델 매개변수 불확실성의 전파된 기여가 점근적으로 소멸함을 증명한다. 이러한 분산들은 통계적으로 원칙에 기반한 클라이언트 간 엣지 선택을 가능하게 한다. 합성 실험(synthetic experiment)은 우리의 접근법이 경쟁 베이스라인(baseline)보다 클라이언트 간 엣지 복원 성능을 향상시킨다는 것을 보여준다. 실제 산업 데이터셋(dataset)에서, 이 방법은 해석 가능한 의존 구조를 제공하면서도 높은 근본 원인(root-cause) 식별 정확도를 달성한다.
여러 센터(기관)에 걸쳐 예측 모델을 학습시키는 경우, 일반적으로 모든 센터가 동일한 공변량(covariate) 집합을 수집한다고 가정한다. 그러나 실제로는 각 센터가 관측값에 대해 서로 다른 특징(feature)을 기록할 수 있으며, 본 논문에서는 이러한 상황을 공변량 불일치(covariate mismatch)라고 부른다. 우리는 센터별로 MCAR(완전 무작위 결측, Missing Completely At Random) 결측 패턴을 가정한 이 어려운 상황에서의 선형 예측을 연구하며, 이질적인 특징 집합에도 불구하고 센터 간 정보를 활용하는 추정량을 개발한다. 저차원 영역에서는 공분산 및 교차 모멘트 추정값의 성분별 집계에 기반한 오라클 선형 예측기의 플러그인 추정량을 제안한다. 고차원에서는 교환 가능성을 보존하는 결측치 대치(imputation) 절차를 이용해 결측 공변량을 먼저 완성한 다음 리지(ridge) 정규화 선형 모델을 적합시키는 대치 후 회귀(impute-then-regress) 전략을 연구한다. 제안된 모든 추정량은 연합학습(federated learning) 제약 조건과 호환되며, 개별 수준의 데이터는 각 센터 내에 그대로 유지되고 집계된 값만 교환된다. 우리는 전역 차원, 센터별 특징 분할, 센터 간 샘플 분포에 따른 예측기의 거동을 명시적으로 특성화하는 점근적(asymptotic) 및 유한 표본(finite-sample) 학습 속도를 제공하며, 수치 실험을 통해 본 접근법을 검증한다.
많은 머신러닝(machine learning) 과제에서 양질의 데이터 양은 데이터 소유자가 로컬에서 보유한 것으로 제한된다. 양질의 데이터 집합은 외부 데이터 에이전트(agent)와의 거래나 공유를 통해 확장될 수 있다. 그러나 외부 데이터는 오염되어 있거나 바람직하지 않은 샘플 다양성을 유입시킬 수 있으며, 이는 희귀 질환 진단이나 추천 시스템과 같은 개인화된 머신러닝 과제의 성능을 저하시킬 수 있다. 따라서 데이터 구매자는 데이터 획득 이전에 품질 보증이 필요하다. 기존 연구들은 주로 서로 다른 에이전트의 데이터에 대한 분포 가정에 의존하여, 품질 검사를 비용이 많이 드는 데이터 가치 평가(valuation) 절차를 수반하는 사후(post-hoc) 단계로 미뤄왔다. 본 논문은 소량의 데이터만 검사함으로써 모델 개인화(personalization)에 가장 유용한 데이터를 보유한 외부 데이터 에이전트를 식별하는, 분포에 대한 가정이 없고(distribution-free) 오염을 인지하는 데이터 획득 프레임워크를 제안한다. 이를 위해, 전체 데이터 획득에 앞서 수행되는 새로운 이표본 검정(two-sample testing) 절차를 도입하며, 이는 컨포멀(conformal) 이상치 탐지(outlier detection)에 대한 엄밀한 이론적 토대에 기반하여 어떤 에이전트의 데이터가 오염 임계값을 초과하는지를 판단한다. 제안된 검정은 '컨포멀 데이터 오염 검정(conformal data contamination test)'이라 명명되며, 임의의 오염 수준(arbitrary contamination level)에서도 유효성을 유지하고, 새롭게 제시된 스토리(Storey) 유형 검정은 벤자민-호크버그(Benjamini-Hochberg) 절차를 통해 유한 표본(finite-sample)에서의 거짓 발견율(false discovery rate) 제어를 입증 가능하게 한다. 다양한 협력 학습(collaborative learning) 시나리오에 대한 실증적 평가는 본 접근법의 강건성과 효과성을 보여준다. 전반적으로, 컨포멀 데이터 오염 검정은 통계적으로 엄밀한 품질 보증과 함께 데이터를 집계하는 범용적인 절차로서 차별성을 가진다.
연합 강화학습(Federated Reinforcement Learning, FRL)은 이종의 환경을 가진 분산 에이전트 간의 협력적 정책 학습(policy learning)을 가능하게 합니다. 분산 감소, 다이버전스 페널티 부여, 모멘텀(momentum) 최적화에 기반한 최근 방법들이 이종 환경 설정에서 FRL을 개선하고 있지만, 여전히 주로 정책 또는 가치 네트워크 파라미터를 동기화하는 데 그치며 이종 클라이언트 간의 분포 불일치 문제를 명시적으로 해결하지 못합니다. 이에 따라 본 논문에서는 이종 로컬 정책 학습을 위해 개인화된 데이터 지지 분포(data supported distribution)를 제공하는 행동 모델로 확산 사전확률(diffusion prior)을 사용하는 FRL 프레임워크인 FedGuide를 제안합니다. FedGuide는 로컬 정책을 직접 평균화하는 대신, 최적 수송 전문가 혼합(Optimal-Transport Mixture-of-Experts, OT-MoE)을 통해 이러한 확산 사전확률들을 집계하여 분포 공간에서 이종 행동 모드를 보존합니다. 나아가 로컬 정책 개선을 위한 저분산 및 수익 인식 유도를 제공하고자 분포 교정 추정(Distribution Correction Estimation, DICE) 가치 기준선(value baseline)을 개발합니다. 이종 환경 전반에 걸친 실험 결과, FedGuide는 더 강한 이종성 하에서도 안정적인 학습을 유지하면서 클라이언트 평균 수익, 최종 라운드 성능, 최악 라운드 견고성 측면에서 대표적인 FRL 방법들을 능가함을 보여줍니다.
Mamba2와 같은 최신 상태 공간 모델(SSM)은 선형 시간 시퀀스 모델링과 순환 상태 공간 역학을 결합하여 트랜스포머의 강력한 대안을 제시합니다. 그러나 분산 학습 환경에서 SSM의 동작은 여전히 잘 이해되지 않고 있습니다. 특히 기존의 표준 연합학습(federated learning) 방식들은 대부분 아키텍처에 구애받지 않으며(architecture-agnostic), 최신 선택적 SSM의 특징인 안정성, 선택성 및 상태 공간 파라미터화를 고려하지 않습니다. 이를 해결하기 위해 본 논문에서는 단일 층 및 다중 층 선택적 SSM에 대한 아키텍처 인지 그래디언트 및 평활도(smoothness) 경계를 도출하고, FedAvg와 FedProx에 대한 수렴 경계를 도출하여 순환 안정성, 입력 의존적 이산화, 상태 투영 노름(norm)이 연합 최적화에 미치는 영향을 규명합니다. 이어서 분석된 순환을 따르는 학습자(learner)를 활용해 교사 SSM이 생성한 시퀀스 상에서 단일 층 경계를 수치적으로 검증합니다. 이러한 분석을 바탕으로 로컬 학습과 클라이언트 이질성의 영향에 대한 가설을 수립하고, 6개 텍스트 도메인에 걸친 Mamba2 언어 모델링에서 9개의 연합학습 알고리즘을 비교하여 이를 검증합니다. 본 실험들은 SSM 맞춤형 경계가 실제 연합학습 알고리즘의 동작을 해석하는 기초를 어떻게 제공할 수 있는지를 보여줍니다.
모바일 엣지 기기에서 온디바이스 대규모 언어 모델(LLM) 서비스에 대한 수요가 증가함에 따라, 제한된 연산량으로 모델 용량을 확장할 수 있는 전문가 혼합(MoE) 아키텍처의 도입이 촉진되었습니다. MoE 기반 LLM의 미세조정(fine-tuning)은 개인정보에 민감한 로컬 데이터에 의존하므로, 연합 학습(FL)은 원시 데이터를 노출하지 않고 협업 학습을 수행할 수 있는 자연스러운 패러다임을 제공합니다. 그러나 MoE 기반 LLM 미세조정을 FL에 통합하는 것은 클라이언트 간 데이터 이질성으로 인해 발생하는 두 가지 중대한 과제에 직면합니다. (i) 서로 다른 로컬 데이터 분포로 인해 클라이언트마다 상이한 게이팅 선호도를 갖게 되어 직접적인 매개변수 집계 시 누구에게도 맞지 않는 글로벌 게이팅 네트워크가 형성되며, (ii) 동일한 인덱스를 가진 전문가가 기기마다 서로 다른 의미론적 역할을 학습하여 전문가의 의미론적 모호화 및 전문성 저하를 초래합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 라우팅 일관성과 전문가 의미론적 정렬을 공동으로 강제하는 엣지 컴퓨팅 시스템용 연합 집계 정렬 프레임워크인 FedAlign-MoE를 제안합니다. 구체적으로 FedAlign-MoE는 일관성 가중치를 통해 라우팅 분포를 정렬하여 게이팅 동작을 집계하고, 분포 정규화를 통해 로컬 게이팅 네트워크를 최적화함으로써 변별력 있는 로컬 게이팅 선호도를 보존하면서도 클라이언트 간 안정성을 유지합니다. 한편, FedAlign-MoE는 기기 간 동일 인덱스 전문가의 의미론적 일관성을 정량화하고 의미론적으로 정렬된 전문가를 선별적으로 집계하여 안정적이고 전문화된 글로벌 전문가를 보장합니다. 광범위한 실험을 통해 FedAlign-MoE는 최신 벤치마크보다 우수한 성능을 보이며, 경량 연산과 효율적인 통신을 바탕으로 non-IID 연합 환경에서 더 빠른 수렴과 더 높은 정확도를 달성함을 입증합니다.
탈중앙화 비평활 볼록 최적화(non-smooth convex optimization)를 위한 비동기 원쌍대(primal-dual) 방법은 각 노드(node)가 차수(degree)를 $d$라 할 때 $\mathcal{O}(d)$개의 보조 변수를 유지해야 하는 경우가 많습니다. 이러한 차수 의존성은 메모리 요구량을 증가시키며, 특히 밀집 네트워크에서 오래된 정보(stale information)의 영향을 증폭시킬 수 있습니다. 탈중앙화 학습에서 절약형 메모리 관리라는 과제에 착안하여, 본 논문에서는 노드의 차수와 무관하게 노드당 두 개의 변수만 유지하는 비동기 고십(gossip) 기반 원쌍대 알고리즘인 Goal-PD를 제안합니다. Goal-PD가 기저 최적화 문제의 최소화해로 거의 확실히 수렴(almost-sure convergence)함을 규명하고, 목적 함수가 조각별 선형-이차(piecewise linear-quadratic) 형태일 때 선형 수렴함을 증명합니다. 탈중앙화 평균 추정의 경우 쌍별 평균화(pairwise averaging)가 Goal-PD의 특수한 경우임을 보여줌으로써, 제안된 원쌍대 프레임워크와 고전적 고십 알고리즘 간의 직접적인 연결고리를 확립합니다. 중앙값 추정을 비롯한 비평활 목적 함수와 다양한 네트워크 토폴로지에서 합성 및 실제 데이터셋을 대상으로 수행한 실험을 통해, Goal-PD가 설계상 현저히 적은 메모리를 요구하면서도 기존 비동기 베이스라인보다 더 빠르게 수렴함을 보입니다.
그래디언트 역전 공격(gradient inversion attack)은 연합 학습(Federated Learning)에서 심각한 프라이버시 위협으로 자주 제시되며, 최근 연구들은 유리한 실험 조건 하에서 점점 더 강력한 복원 결과를 보고하고 있습니다. 그러나 실제로 배포되는 현대적인 성능 최적화 시스템에서도 이러한 공격이 실현 가능한지는 여전히 불분명합니다. 본 연구에서는 이미지 기반 연합 학습을 대상으로 그래디언트 역전의 실질적 실현 가능성을 평가합니다. 우리는 최신 해상도와 표준 비전 아키텍처를 사용하여 이미지 분류(image classification) 및 객체 검출(object detection)을 포함한 여러 데이터셋과 작업에 걸쳐 체계적인 연구를 수행합니다. 연구 결과, 매우 제한적인 가정 하에서는 특정 레거시 또는 과도기적 구조에 대해 그래디언트 역전이 여전히 가능하지만, 현대적인 성능 최적화 모델은 시각적으로 유의미한 복원에 일관되게 저항하는 것으로 나타났습니다. 또한 보고된 성공 사례 중 상당수가 실제 학습(training) 파이프라인을 반영하지 않는 추론(inference) 모드 동작이나 아키텍처 단순화와 같은 상한(upper-bound) 설정에 의존한다는 점을 입증합니다. 종합하면, 우리의 연구 결과는 정직하지만 호기심 많은(honest-but-curious) 서버 가정 하에서 그래디언트 역전을 통한 고충실도 이미지 복원이 프로덕션 최적화 연합 학습 시스템에서 치명적인 프라이버시 위험을 초래하지 않으며, 실질적인 위험 평가는 진단 목적의 공격 설정과 실제 배포 환경을 신중하게 구분해야 함을 시사합니다.
엄격한 연산, 통신, 프라이버시 제약으로 인해 연합 환경에서 대규모 언어 모델(LLM)의 추론 능력을 향상하는 것은 쉽지 않은 과제입니다. 특히 임상적으로 중대한 결정이 필요한 의료 분야에서는 안전성, 책임성, 규제 요건을 충족하기 위해 정확도뿐만 아니라 해석 가능하고 감사 가능한 논리적 근거가 필수적입니다. 기존의 연합 미세조정 방식은 단계별 추론 능력을 기르기보다는 최종 답변을 모방하는 데 그치는 경우가 많으며, 프라이버시에 민감한 중앙 집중식 지식 증류에 의존하는 일이 잦고 여전히 상당한 통신 오버헤드를 발생시킵니다. 본 논문에서는 이러한 문제를 해결하기 위해 연합 추론 프레임워크인 FedCoT를 제안합니다. FedCoT는 선택을 위한 경량 식별기(discriminator)와 결합된 가벼운 사고의 연쇄(Chain-of-Thought) 재샘플링, 그리고 이질성을 수용하면서 집합(aggregation) 노이즈와 통신량을 줄이기 위한 클라이언트 인식 LoRA 스태킹 및 가중 분류기 집합 기법을 결합합니다. 클라이언트는 후보 연쇄와 지도 신호를 로컬에서 생성하며, 서버에서는 경량 모듈만 집합됩니다. 의료 추론 벤치마크에 대한 실험 결과, FedCoT는 데이터를 로컬에 유지하고 프라이버시를 보호하면서도 빠듯한 자원 예산 하에서 일관된 성능 향상을 보여주어, 해석 가능하고 자원 효율적인 솔루션을 제공함을 입증했습니다. 연구 코드는 https://github.com/DIaacKr/FedCoT 에서 공개되어 있습니다.
기하학적 데이터 섭동(Geometric data perturbation)은 프라이버시 보존 협력 학습(collaborative learning)을 위한 원샷 표현(representation) 공유를 가능하게 합니다. 즉, 각 참여자는 자신의 비공개 데이터에 거리를 보존하는 비밀 변환을 적용한 뒤 결과 표현을 중앙 분석가에게 업로드합니다. 본 논문에서는 공모한 참여자가 분석가가 다른 참여자의 데이터를 재구성할 수 있도록 자신의 데이터와 변환을 공개하는 분석가-참여자 공모(collusion)를 연구합니다. 참여자별 독립적인 변환은 공개된 공통 변환을 통한 직접적인 역변환을 차단하지만, 업로드된 데이터를 호환되지 않는 좌표계에 남겨두어 통합 학습의 성능을 저하시킵니다. 데이터 협력(Data Collaboration) 분석은 분석가에게 숨겨둔 공통 앵커 행렬(anchor matrix)의 변환된 복사본들을 정렬하여 호환성을 복원합니다. 본 연구는 중심화된(centered) 앵커 행렬이 풀 칼럼 랭크(full column rank)를 가질 때, 이를 공개하는 공모자가 모든 참여자의 변환을 정확히 복구하고 노이즈 없는 비공개 표현의 역변환을 가능하게 함을 보여줍니다. 비공개 데이터 표현에 노이즈를 추가하는 것은 이러한 변환 복구 채널을 그대로 유지하며 상당한 효용(utility) 저하를 대가로 정보 유출을 줄입니다. 대신, 본 연구는 앵커 표현을 섭동시킵니다. 즉, 각 참여자는 변환된 앵커 표현만을 섭동시켜 비공개 데이터 업로드의 기하학적 구조를 보존하는 동시에, 알려진 앵커 기반 변환 복구를 노이즈 추정 문제로 전환합니다. 분석가는 일반화된 직교 프로크루스테스 문제(generalized orthogonal Procrustes problem)에 대한 스펙트럼 추정기(spectral estimator)를 사용하여 정렬을 추정합니다. 본 프로토콜에 대한 복구 공격을 분석하고 CelebA 및 VGGFace2 얼굴 이미지 데이터셋에서 두 노이즈 배치 방식을 비교합니다. 평가된 공모 공격 하에서, 노이즈 앵커 정렬(noisy-anchor alignment)은 낮은 신원 연결(identity-linkage) 수준에서도 더 높은 다운스트림 정확도를 유지합니다. 또한 참여자 수 실험을 통해 유사하게 측정된 연결 수준에서 더 큰 규모의 협력에 따른 효용 향상과 한계를 조사합니다.
본 논문에서는 협력 에이전트(agent)들의 선형 이차 레귤레이터(LQR) 제어에서 공통 정책을 모델 프리(model-free) 방식으로 학습하기 위한 통신 효율적인 연합 알고리즘인 ScalarFedLQR을 제안합니다. 이 방법은 분해된 사영 그래디언트(projected gradient) 메커니즘을 기반으로 구축되며, 각 에이전트는 로컬 0차 그래디언트(zeroth-order gradient) 추정치의 스칼라 사영만을 전송합니다. 서버는 이러한 스칼라 메시지를 집계하여 전역 하강 방향을 재구성함으로써, 에이전트당 업링크 통신량을 정책 차원과 무관하게 O(d)에서 O(1)로 줄입니다. 결정적으로, 사영으로 인해 발생하는 근사 오차는 참여하는 에이전트 수가 증가함에 따라 감소하여 유리한 스케일링(scaling) 법칙을 제공합니다. 즉, 더 큰 규모의 에이전트 집합일수록 더 정확한 그래디언트 복원이 가능해지고, 더 큰 스텝 크기를 허용하며, 고차원임에도 불구하고 더 빠른 선형 수렴(convergence)을 달성합니다. 동질적(homogeneous) 에이전트에 대한 표준 정칙성 조건 하에서 모든 반복 계산값(iterates)은 안정화 상태를 유지하고 평균 LQR 비용은 선형적으로 빠르게 감소합니다. 수치 결과는 이질적이지만 유사한 에이전트 환경에서도 통신량을 대폭 줄이면서 풀 그래디언트(full-gradient) 연합 LQR에 필적하는 성능을 보여줍니다.