모의 공격 패턴을 통한 크로스 사일로 연합학습에서의 동적 무임승차 탐지
Dynamic Free-Rider Detection in Cross-Silo Federated Learning via Simulated Attack Patterns
한국어 초록
연합학습(FL)은 개인 데이터를 공유하지 않고 로컬 업데이트를 집계함으로써 여러 클라이언트가 글로벌 모델을 협력하여 학습할 수 있도록 지원합니다. 본 연구에서는 각 클라이언트가 독립된 조직을 대표하는 크로스 사일로(cross-silo) 연합학습에 초점을 맞춥니다. 그러나 크로스 사일로 연합학습은 기여하지 않고 글로벌 모델을 획득하기 위해 실제 학습을 수행하지 않은 채 가짜 모델 파라미터를 제출하는 클라이언트인 무임승차자(free-rider) 문제에 직면할 수 있습니다. Chen 등은 모델 파라미터의 가중치 진화 빈도(WEF)를 기반으로 한 무임승차자 탐지 방법을 제안했습니다. 이 탐지 방식은 프록시 데이터셋이나 사전학습이 모두 필요하지 않기 때문에 실용적입니다. 그럼에도 불구하고 초기 라운드에는 정직하게 행동하다가 이후 무임승차로 전환하는 '동적' 무임승차자를 탐지하는 데 어려움을 겪으며, 특히 델타 가중치 공격 및 본 논문에서 새로 제안하는 적응형 WEF 위장 공격과 같은 글로벌 모델 모방 공격 환경에서 더욱 그러합니다. 본 논문에서는 이전에 브로드캐스트된 글로벌 모델을 활용하여 서버 측에서 잠재적인 글로벌 모델 모방 공격의 WEF 패턴을 시뮬레이션하고, 제출된 WEF 패턴이 시뮬레이션된 패턴과 유사한 클라이언트를 식별하는 새로운 탐지 방법인 S2-WEF를 제안합니다. 다양한 무임승차자 공격 전략을 처리하기 위해, S2-WEF는 이러한 시뮬레이션 기반 유사도 점수와 제출된 WEF 간의 상호 비교를 통해 계산된 편차 점수를 결합하며, 2차원 클러스터링 및 점수별 분류를 통해 정상 클라이언트와 무임승차자 클라이언트를 분리합니다. 이 방법은 프록시 데이터셋이나 사전학습 없이도 학습 도중 무임승차자로 전환하는 클라이언트를 동적으로 탐지할 수 있도록 합니다. 우리는 4개의 데이터셋과 5가지 공격 유형에 걸쳐 광범위한 실험을 수행하여, S2-WEF가 다양한 설정에서 견고한 동적 무임승차 탐지 기능을 제공함을 입증합니다.
원문 초록
Federated learning (FL) enables multiple clients to collaboratively train a global model by aggregating local updates without sharing private data. In this work, we focus on cross-silo FL, where each client typically represents an independent organization. However, cross-silo FL can face the challenge of free-riders, clients who submit fake model parameters without performing actual training to obtain the global model without contributing. Chen et al. proposed a free-rider detection method based on the weight evolving frequency (WEF) of model parameters. This detection approach is practical because it requires neither a proxy dataset nor pre-training. Nevertheless, it struggles to detect ``dynamic'' free-riders who behave honestly in early rounds and later switch to free-riding, particularly under global-model-mimicking attacks such as the delta weight attack and our newly proposed adaptive WEF-camouflage attack. In this paper, we propose a novel detection method S2-WEF that simulates the WEF patterns of potential global-model-mimicking attacks on the server side using previously broadcast global models, and identifies clients whose submitted WEF patterns resemble the simulated ones. To handle a variety of free-rider attack strategies, S2-WEF further combines this simulation-based similarity score with a deviation score computed from mutual comparisons among submitted WEFs, and separates benign and free-rider clients by two-dimensional clustering and per-score classification. This method enables dynamic detection of clients that transition into free-riders during training without proxy datasets or pre-training. We conduct extensive experiments across four datasets and five attack types, demonstrating that S2-WEF provides robust dynamic free-rider detection across diverse settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연합 사회적 공정 k-평균 군집화를 위한 머신 언러닝
Machine Unlearning for Federated Socially Fair k-Means Clustering
연합 군집화(federated clustering)는 여러 병원에 걸친 환자 층화(patient stratification) 및 분산된 금융 데이터셋 전반의 고객 세분화와 같은 응용 분야를 지원할 수 있습니다. 책임감 있는 인공지능(Responsible AI)은 인구통계학적 집단의 공정한 대표성을 보장하고, GDPR의 잊힐 권리(right to erasure)와 같은 권리에서 비롯된 데이터 삭제 지원을 요구합니다. 이러한 목표들은 상호작용합니다. 즉, 레코드를 삭제하면 집단 간의 균형이 바뀌고 남아 있는 모집단의 군집화 결과가 변경될 수 있습니다. 본 연구에서는 가장 가까운 중심점까지의 최대 집단 평균 제곱 거리를 최소화하는 것을 목표로 하는 연합 사회적 공정 $k$-평균($k$-means)에 대한 정확한 머신 언러닝(exact machine unlearning)을 연구합니다. 본 접근법은 각 집단별로 독립된 로컬 요약(summary)을 유지하므로, 글로벌 공정성 가중치가 변경되더라도 영향을 받지 않은 기관의 요약은 유효하게 유지됩니다. 두 집단의 경우, 이상적인 샘플링 하에서 클라이언트 집단 비율과 무관한 초기화(initialization) 근사 보장을 증명하며, 동일 시드 재생(same-seed replay)이 재학습을 정확히 재현함을 보입니다. 재사용의 이점은 전체 클라이언트가 탈퇴할 때 가장 두드러집니다. 3개의 데이터셋에 걸쳐 재생 방식은 초기화 전용 모델(model)에 대해 재학습보다 $35.8\times$ 더 빠르며, 최악 집단 비용을 개선하는 1회 및 2회의 공정 정제 라운드 적용 시에도 각각 $2.4\times$ 및 $1.7\times$ 더 빠른 속도를 유지합니다. 개별 레코드 삭제의 경우 성능 향상은 약 $1.06\times$로 미미하며, 캐시된 할당을 검증하는 비용이 절감되는 비용보다 더 클 수 있습니다. 이러한 결과는 정확한 언러닝이 계산을 유익하게 재사용할 수 있는 영역을 보여줍니다. 코드 및 재현성 자료는 https://github.com/arareddy/mufsc 에서 확인할 수 있습니다.
백도어는 구조적 흔적을 남긴다: 연합 학습에서 백도어 탐지 및 억제를 위한 FedMAST
Backdoors Leave Structural Traces: FedMAST for Backdoor Detection and Containment in Federated Learning
연합 학습(federated learning)은 클라이언트가 원시(raw) 데이터를 공유할 필요 없이 공유 모델의 분산 학습을 가능하게 한다. 그러나 클라이언트가 제출한 업데이트의 무결성에 대한 의존은 전역 모델을 은밀한(stealthy) 백도어 poisoning에 노출시킨다. 기존 방어는 종종 고립된 증거 원천을 검사하지만, 은밀성 제약(stealth-constrained) 공격은 이러한 신호에 적응할 수 있다. 본 논문에서는 이러한 공격이 고립된 이상(anomaly) 신호를 억제할 수 있으나, poisoned 업데이트는 여전히 잔여 구조적 흔적을 남긴다는 것을 보인다. 연합 학습에서 백도어 탐지를 위한 Federated Multi-Axis Structural Tracing(FedMAST) 방어를 제안한다. FedMAST는 상호 보완적인 구조적·스펙트럴(spectral)·역사적(historical) 증거로 클라이언트 업데이트를 점수화한 뒤, 계층적(tiered) 필터링과 라운드 수준(round-level) 억제(containment)를 적용해 적대적 영향을 제한한다. 고립된 신호가 놓칠 수 있는 흔적을 포착하기 위해 FedMAST는 squeeze-pair coherence scoring으로 결합된 특징(feature) 왜곡을 드러내고, signed spectral-drift tracking으로 시간에 따른 지속적인 방향 변화를 밝힌다. Constrain-and-Scale, Neurotoxin, BC-Layers, LGA, DBA, 3DFed 등 6가지 연합 백도어 공격에 대해 FedMAST는 9개의 공격–방어 비교 평가 모두에서 기준선(baseline) 방어보다 낮은 ASR(attack success rate)을 달성한다. 200라운드 전체 실행에서 평균 ASR 1.51%를 달성하면서 평균 주과제(main-task) 정확도 94.84%를 유지한다. method-aware CovertLayers 공격 하에서 FedAvg, MultiKrum, AlignIns, FLAME은 각각 전체 실행 ASR 100.00%, 99.67%, 99.53%, 32.84%를 기록한다. FedMAST는 평가된 모든 방법 중 최저 ASR을 달성하여 1.53%로 낮추면서 주과제 정확도 92.26%를 유지한다.
클라이언트가 조율될 때: 연합 학습 서버를 격파하는 전략적 그래디언트 조작과 효율적 방어
When Clients Are Orchestrated: Strategic Gradient Manipulation to Defeat Federated Learning Servers with Efficient Defense
연합 학습(Federated Learning)은 원시 데이터가 아니라 모델 업데이트를 중앙 매개변수 서버(PS)와 교환함으로써 분산 모델 학습을 가능하게 한다. 기존 방어의 대부분은 정적이거나 독립적으로 행동하는 적대자를 주로 가정하는 반면, 우리는 이러한 보호를 체계적으로 우회하는 새로운 유형의 동적·적응형 공격을 밝힌다. 우리는 악성 조율 서버(OS)가 표적·비표적 공격 클라이언트를 포함한 이질적 적대적 클라이언트 집합을 동적으로 조율하는 통합 공격 프레임워크 Fed-ADR을 제안한다. OS의 실시간 조율을 통해 악성 클라이언트는 PS에 배포된 방어를 회피하도록 그래디언트 업데이트를 전략적으로 조정하면서, 전역 모델 성능을 심각하게 저하시키거나 학습을 적대적 목표로 유도한다. 이 위협을 완화하기 위해, 우리는 각 클라이언트의 과거 업데이트로부터 실제 그래디언트를 추정하는 탐지 메커니즘을 제시하여 추가 오버헤드 없이 조율된 악성 행동의 실시간 탐지를 가능하게 한다. 또한 학습을 재시작하지 않고 전역 모델 성능을 복구하는 in-situ 복구 메커니즘을 도입하여 수렴을 유지하고 복구 시간을 최소화한다. MNIST, Fashion-MNIST, CIFAR-10 벤치마크 데이터셋에 대한 종합 실험은 Fed-ADR 공격 체계가 전역 정확도를 90% 이상에서 10% 미만으로 낮출 수 있으며 여러 최신(state-of-the-art) 방어를 우회함을 보여준다. 우리의 탐지 및 복구 모듈을 사용하면 악성 클라이언트를 식별하고 수 라운드 내에 정확도를 90% 이상으로 복구하며, 처음부터 재학습하는 것보다 훨씬 낮은 비용으로—계산 오버헤드를 최소 20배 줄이는—성과를 달성한다.
교란된 Jailbreak 프롬프트의 기하학적 구성
Geometric Configurations of Perturbed Jailbreak Prompts
실패한 jailbreak 프롬프트를 성공적인 것으로 바꾸는 교란(perturbation) 기법은 지속적으로 진화하고 있으며, 이는 LLM 안전성(safety)에 대한 주요 보안 위협을 구성한다. 본 논문에서는 Qwen-2.5-1.5B/-3B/-7B-Instruct 및 Llama-3.2-1B/-3B/-3.1-8B-Instruct 계열의 소형 가중치 모델에서, 이러한 문자열 수준(string-level) 교란 jailbreak 입력의 내부 표현(internal representation)을 조사한다. 두 가지 표현 공간을 선택한다: 마지막 층-마지막 토큰 임베딩 공간과 상위 50개 다음 토큰 확률 공간. 전자의 공간은 철자와 형식에 따라 프롬프트를 분리하는 반면, 후자의 공간은 사실상 일차원(one-dimensional)이지만 클러스터링하기에는 더 복잡해 보인다. 거부(refusal)가 지배적인 답변 집합 내에서 두 공간 모두에서 행동적(behavioral) 초평면(hyperplane)을 찾지 못한다. 1.5B Qwen 모델에서는 다음 토큰 "Sure"만, 1B Llama 모델에서는 "," 및 "ĊĊ" 토큰 모두가 순응(compliant) 라벨이 붙은 답변과 유의미한 연관성을 보인다.
Fed-RAC: Resource-Aware Clustering for Tackling Heterogeneity of Participants in Federated Learning
Adversarial Learning for Robust Deep Clustering
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
12 pages, 1 figure, 12 tables