연합 학습에서 정보 이론적 보안 집계의 용량
The Capacity of Information-Theoretic Secure Aggregation in Federated Learning
한국어 초록
보안 집계(Secure aggregation)는 업데이트의 프라이버시를 보호하면서 서버가 사용자들의 로컬 업데이트를 집계할 수 있도록 합니다. 기존의 정보 이론적 문제들은 상관된 무작위 키가 신뢰할 수 있는 제3자(TTP)에 의해 제공되거나 미리 정의된 그룹별 구조를 통해 생성된다고 가정하는 경우가 많으며, 이러한 상관된 키를 설정하는 데 드는 통신 비용은 종종 무시됩니다. 결과적으로, 일반적인 키 분배 메커니즘 하에서의 근본적인 한계는 여전히 알려져 있지 않습니다. 본 논문에서는 키 분배 단계와 업데이트 집계 단계로 구성된 일반적인 2단계 프레임워크 하에서 $N$명의 사용자가 있는 $T$-공모 정보 이론적 보안 집계 문제를 연구합니다. 기존 연구와 달리, 본 연구는 사용자 간 통신을 통한 키 분배를 모델링하고 임의의 사용자 생성 키 분배 메커니즘을 허용하여 TTP나 미리 정의된 구조에 대한 의존성을 제거합니다. 이를 통해 보안을 위한 무작위성(randomness), 키 분배 통신, 집계 통신이라는 세 가지 자원에 대한 통합적인 특성 분석이 가능해집니다. 우리는 새로운 보안 집계 방식과 이에 대응하는 정보 이론적 역부(converse)를 구성하여 이 세 가지 자원 간의 용량 영역을 완전히 특성화합니다. 특히, 크기가 $N$ 이상인 모든 유한체에 대해 명시적이고 결정론적인 용량 달성 구성(construction)을 개발하였으며, 이는 대부분의 기존 방식이 TTP에 의존하거나 충분히 큰 유한체에서 무작위 혹은 존재성에 기반한 구성을 사용하는 것과 대조됩니다. 또한, 쌍별 공유 키(pairwise shared keys)만을 사용하여 최적의 성능을 달성할 수 있음을 보여주어, 디피-헬만(Diffie-Hellman) 키 교환을 통한 구현을 가능하게 합니다. Google의 획기적인 보안 집계 방식과 비교했을 때, 제안된 방식은 동일한 집계 통신 오버헤드를 유지하면서 더 적은 무작위 마스킹 키를 요구합니다.
원문 초록
Secure aggregation allows a server to aggregate users' local updates while preserving update privacy. Existing information-theoretic problems typically assume that correlated random keys are provided by a trusted third party (TTP) or generated via prescribed groupwise structures, while the communication cost for establishing such correlated keys is often ignored. Consequently, the fundamental limits under general key-distribution mechanisms remain unknown. In this paper, we study the $T$-colluding information-theoretic secure aggregation problem with $N$ users under a general two-phase framework consisting of a key distribution phase and an update aggregation phase. Unlike prior work, we model key distribution through user-to-user communication and allow arbitrary user-generated key-distribution mechanisms, eliminating TTP or prescribed structures. This enables a joint characterization of three resources: randomness for security, key-distribution communication, and aggregation communication. We completely characterize the capacity region among these three resources by constructing a novel secure aggregation scheme together with a matching information-theoretic converse. In particular, we develop an explicit deterministic capacity-achieving construction over any finite field of size at least $N$, whereas most existing schemes either rely on TTP or employ randomized or existential constructions over sufficiently large finite fields. We further show that the optimal performance can be achieved using only pairwise shared keys, enabling implementation via Diffie--Hellman key exchange. Compared with Google's seminal secure aggregation scheme, the proposed scheme requires fewer random masking keys while preserving the same aggregation communication overhead.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.07277v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
경량 연합 학습을 위한 정보 이론적 보안 집계: 드롭아웃 및 적대자에 강건
Information-Theoretically Secure Aggregation for Lightweight Federated Learning: Resilient to Dropouts and Adversaries
온디바이스 연합 학습(FL)은 스마트폰 및 IoT 노드와 같은 자원 제약이 있는 디바이스에서 프라이버시를 보존하면서 개인화된 모델 학습을 가능하게 한다. 통신 비용을 줄이기 위해 부호 기반 방법(예: signSGD)은 1비트 그래디언트를 전송한다. 그러나 그래디언트 부호를 노출하면 추론 공격에 취약해지며, 기존 보안 집계 방식은 이러한 방법과 호환되지 않거나 상당한 계산 및 통신 오버헤드를 발생시키는 경우가 많다. 우리는 부호 기반 FL에 맞춘 경량의 정보 이론적 보안 집계 프레임워크를 제안한다. 이 프레임워크는 단일 라운드 보안 곱셈을 통해 다수결(MV) 다항식을 안전하게 계산하며, 정직한 과반수 가정 하에서 종단 간 정보 이론적 보안을 보장하면서 서버에는 최종 집계된 부호만 공개한다. 효율성과 확장성을 높이기 위해 두 가지 핵심 기법을 도입한다. 첫째, 역형(inverse-form) 지수 축소는 유효 MV 다항식 차수를 절반으로 줄여 통신 및 계산 비용을 모두 낮춘다. 둘째, 단일 라운드 보안 곱셈을 제안하여 단 한 번의 온라인 통신만으로 선형 오프라인 복잡도와 저장 공간을 달성한다. 이들 기법을 결합하면 기존 방식 대비 온라인 통신을 최대 99.5%, 지연 시간을 최대 85.7% 줄인다. 또한 내재된 MDS 코드 기반 디코딩을 활용하여 드롭아웃과 적대적 행동 모두에 대한 강건성을 달성하며, 각각 최대 20.65% 및 10.74%의 정확도 향상을 얻는다. 전반적으로, 제안된 프레임워크는 부호 기반 FL에서 대규모, 저지연, 정보 이론적 보안 집계를 위한 실용적 기반을 마련한다.
프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류
Private and Distributionally Robust Federated Multiclass Classification
자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.
이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더
Temporal transformer CAN encoder with federated lightweight heads for anomaly detection
현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.
프라이버시 보존 협력 학습을 위한 노이즈 앵커 정렬 기반 기하학적 데이터 섭동
Geometric Data Perturbation with Noisy-Anchor Alignment for Privacy-Preserving Collaborative Learning
기하학적 데이터 섭동(Geometric data perturbation)은 프라이버시 보존 협력 학습(collaborative learning)을 위한 원샷 표현(representation) 공유를 가능하게 합니다. 즉, 각 참여자는 자신의 비공개 데이터에 거리를 보존하는 비밀 변환을 적용한 뒤 결과 표현을 중앙 분석가에게 업로드합니다. 본 논문에서는 공모한 참여자가 분석가가 다른 참여자의 데이터를 재구성할 수 있도록 자신의 데이터와 변환을 공개하는 분석가-참여자 공모(collusion)를 연구합니다. 참여자별 독립적인 변환은 공개된 공통 변환을 통한 직접적인 역변환을 차단하지만, 업로드된 데이터를 호환되지 않는 좌표계에 남겨두어 통합 학습의 성능을 저하시킵니다. 데이터 협력(Data Collaboration) 분석은 분석가에게 숨겨둔 공통 앵커 행렬(anchor matrix)의 변환된 복사본들을 정렬하여 호환성을 복원합니다. 본 연구는 중심화된(centered) 앵커 행렬이 풀 칼럼 랭크(full column rank)를 가질 때, 이를 공개하는 공모자가 모든 참여자의 변환을 정확히 복구하고 노이즈 없는 비공개 표현의 역변환을 가능하게 함을 보여줍니다. 비공개 데이터 표현에 노이즈를 추가하는 것은 이러한 변환 복구 채널을 그대로 유지하며 상당한 효용(utility) 저하를 대가로 정보 유출을 줄입니다. 대신, 본 연구는 앵커 표현을 섭동시킵니다. 즉, 각 참여자는 변환된 앵커 표현만을 섭동시켜 비공개 데이터 업로드의 기하학적 구조를 보존하는 동시에, 알려진 앵커 기반 변환 복구를 노이즈 추정 문제로 전환합니다. 분석가는 일반화된 직교 프로크루스테스 문제(generalized orthogonal Procrustes problem)에 대한 스펙트럼 추정기(spectral estimator)를 사용하여 정렬을 추정합니다. 본 프로토콜에 대한 복구 공격을 분석하고 CelebA 및 VGGFace2 얼굴 이미지 데이터셋에서 두 노이즈 배치 방식을 비교합니다. 평가된 공모 공격 하에서, 노이즈 앵커 정렬(noisy-anchor alignment)은 낮은 신원 연결(identity-linkage) 수준에서도 더 높은 다운스트림 정확도를 유지합니다. 또한 참여자 수 실험을 통해 유사하게 측정된 연결 수준에서 더 큰 규모의 협력에 따른 효용 향상과 한계를 조사합니다.
연합 에이전트 최적화
Federated Agent Optimization
대규모 언어 모델(LLM) 에이전트(agent)는 점차 비공개 환경에서 작동하며 작업 수행, 도구 사용, 피드백, 로컬 지식으로부터 가치 있는 경험을 축적하고 있습니다. 그러나 이러한 경험은 여러 조직에 분산되어 있으며 프라이버시 및 독점적 제약으로 인해 직접 공유될 수 없습니다. 에이전트의 역량이 모델(model) 파라미터를 넘어 메모리, 도구, 보상(reward), 기술 및 정형화된 지식으로 확장됨에 따라 기존의 연합학습(federated learning)은 이러한 환경에 불충분합니다. 본 논문에서는 원시 데이터, 완전한 궤적, 비공개 지식을 로컬에 유지하면서 통제된 정보 교환을 통해 분산된 에이전트들이 협력하여 개선할 수 있는 방법을 연구하는 연합 에이전트 최적화(Federated Agent Optimization, FAO)를 정식화합니다. 본 연구는 FAO를 에이전트 유용성, 프라이버시 유출, 통신 비용의 균형을 맞추는 다중 목적 최적화 문제로 정의하고, 정책, 메모리, 도구 사용, 보상, 정형화된 지식 및 기술 전반에 걸쳐 최적화 공간을 체계화합니다. 나아가 비공개 경험을 추상화, 보호, 집합 및 적응시켜 전이 가능한 역량으로 변환하는 방법을 구체화함으로써, 에이전트들이 직접적인 경험 공유 없이도 서로에게서 이점을 얻을 수 있는 통합된 관점을 제공합니다. 마지막으로 FAO의 주요 과제를 식별하고 신뢰할 수 있는 연합 에이전트 시스템을 향한 미래 연구의 유망한 방향들을 제시합니다.
FedIncome: 데이터 주권 제약 하의 디지털 대출 소득 추정을 위한 연합학습
FedIncome: Federated Learning for Income Estimation in Digital Lending Under Data Sovereignty Constraints
디지털 대출 신청에서는 검증된 소득 정보를 확인할 수 없는 경우가 많아, 대출 기관이 신고 소득에 의존하게 되고 이로 인해 과대 대출, 지나치게 보수적인 대출 조건 제시, 또는 상환 능력이 있는 신청자에 대한 거절로 이어질 수 있습니다. 기관 간 데이터 공유 제약은 학습 데이터가 제한적인 소규모 대출 기관에 이 문제를 특히 어렵게 만듭니다. 본 논문에서는 기관들이 원시 차입자 기록을 하나로 모으지 않고도 공유 모델을 학습할 수 있도록 하는 소득 추정용 연합학습(federated learning) 프레임워크인 FedIncome을 소개합니다. 100만 건 이상의 LendingClub 대출을 $50$개 주(state) 단위 클라이언트로 분할하여 이질적인 대출 컨소시엄을 시뮬레이션합니다. 최고 성능의 연합학습 모델은 시간 외(out-of-time) $R^2=0.608$을 달성하였으며, 이는 풀링(pooling)된 중앙집중식 벤치마크의 $0.619$와 비교됩니다. 소규모 표본 클라이언트는 풀링된 중앙집중식 벤치마크 대비 시간 외 $R^2$가 평균 $3.8$퍼센트포인트 향상되었으며, 적합된 클라이언트 수준 관계에 따르면 이 설정에서 경험적 교차점은 약 $4,790$개의 학습 관측치로 나타났습니다. 풀링이 불가능하고 적절한 대안이 로컬 전용 학습인 경우, 연합학습은 모든 표본 크기 그룹에서 시간 외 성능을 향상시키며, 데이터가 부족한 클라이언트에서 가장 큰 향상을 보입니다. 또한 연합학습으로 추정한 소득을 주(state) 및 소득별 부채상환비율(debt-to-income) 임계값과 결합하였습니다. 회고적 의사결정 분석에서 신고 소득을 연합학습 추정치로 대체하면, 관측된 부도율의 변화는 소폭에 그치면서 시뮬레이션된 승인율이 증가합니다. FedIncome은 풀링 학습 대비 전체적인 손실(loss)은 거의 없이, 로컬 전용 추정 대비로는 더 큰 향상을 제공하며 데이터 지역성 제약 하에서의 협력 학습을 지원합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.