Mitigating Evasion Attacks in Federated Learning-Based Signal Classifiers
원문 초록
Recent interest in leveraging federated learning (FL) for radio signal classification (SC) tasks has shown promise but FL-based SC remains susceptible to model poisoning adversarial attacks. These adversarial attacks mislead the ML model training process, damaging ML models across the network and leading to lower SC performance. In this work, we seek to mitigate model poisoning adversarial attacks on FL-based SC by proposing the Underlying Server Defense of Federated Learning (USD-FL). Unlike existing server-driven defenses, USD-FL does not rely on perfect network information, i.e., knowing the quantity of adversaries, the adversarial attack architecture, or the start time of the adversarial attacks. Our proposed USD-FL methodology consists of deriving logits for devices' ML models on a reserve dataset, comparing pair-wise logits via 1-Wasserstein distance and then determining a time-varying threshold for adversarial detection. As a result, USD-FL effectively mitigates model poisoning attacks introduced in the FL network. Specifically, when baseline server-driven defenses do have perfect network information, USD-FL outperforms them by (i) improving final ML classification accuracies by at least 6%, (ii) reducing false positive adversary detection rates by at least 10%, and (iii) decreasing the total number of misclassified signals by over 8%. Moreover, when baseline defenses do not have perfect network information, we show that USD-FL achieves accuracies of approximately 74.1% and 62.5% in i.i.d. and non-i.i.d. settings, outperforming existing server-driven baselines, which achieve 52.1% and 39.2% in i.i.d. and non-i.i.d. settings, respectively.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
백도어는 구조적 흔적을 남긴다: 연합 학습에서 백도어 탐지 및 억제를 위한 FedMAST
Backdoors Leave Structural Traces: FedMAST for Backdoor Detection and Containment in Federated Learning
연합 학습(federated learning)은 클라이언트가 원시(raw) 데이터를 공유할 필요 없이 공유 모델의 분산 학습을 가능하게 한다. 그러나 클라이언트가 제출한 업데이트의 무결성에 대한 의존은 전역 모델을 은밀한(stealthy) 백도어 poisoning에 노출시킨다. 기존 방어는 종종 고립된 증거 원천을 검사하지만, 은밀성 제약(stealth-constrained) 공격은 이러한 신호에 적응할 수 있다. 본 논문에서는 이러한 공격이 고립된 이상(anomaly) 신호를 억제할 수 있으나, poisoned 업데이트는 여전히 잔여 구조적 흔적을 남긴다는 것을 보인다. 연합 학습에서 백도어 탐지를 위한 Federated Multi-Axis Structural Tracing(FedMAST) 방어를 제안한다. FedMAST는 상호 보완적인 구조적·스펙트럴(spectral)·역사적(historical) 증거로 클라이언트 업데이트를 점수화한 뒤, 계층적(tiered) 필터링과 라운드 수준(round-level) 억제(containment)를 적용해 적대적 영향을 제한한다. 고립된 신호가 놓칠 수 있는 흔적을 포착하기 위해 FedMAST는 squeeze-pair coherence scoring으로 결합된 특징(feature) 왜곡을 드러내고, signed spectral-drift tracking으로 시간에 따른 지속적인 방향 변화를 밝힌다. Constrain-and-Scale, Neurotoxin, BC-Layers, LGA, DBA, 3DFed 등 6가지 연합 백도어 공격에 대해 FedMAST는 9개의 공격–방어 비교 평가 모두에서 기준선(baseline) 방어보다 낮은 ASR(attack success rate)을 달성한다. 200라운드 전체 실행에서 평균 ASR 1.51%를 달성하면서 평균 주과제(main-task) 정확도 94.84%를 유지한다. method-aware CovertLayers 공격 하에서 FedAvg, MultiKrum, AlignIns, FLAME은 각각 전체 실행 ASR 100.00%, 99.67%, 99.53%, 32.84%를 기록한다. FedMAST는 평가된 모든 방법 중 최저 ASR을 달성하여 1.53%로 낮추면서 주과제 정확도 92.26%를 유지한다.
클라이언트가 조율될 때: 연합 학습 서버를 격파하는 전략적 그래디언트 조작과 효율적 방어
When Clients Are Orchestrated: Strategic Gradient Manipulation to Defeat Federated Learning Servers with Efficient Defense
연합 학습(Federated Learning)은 원시 데이터가 아니라 모델 업데이트를 중앙 매개변수 서버(PS)와 교환함으로써 분산 모델 학습을 가능하게 한다. 기존 방어의 대부분은 정적이거나 독립적으로 행동하는 적대자를 주로 가정하는 반면, 우리는 이러한 보호를 체계적으로 우회하는 새로운 유형의 동적·적응형 공격을 밝힌다. 우리는 악성 조율 서버(OS)가 표적·비표적 공격 클라이언트를 포함한 이질적 적대적 클라이언트 집합을 동적으로 조율하는 통합 공격 프레임워크 Fed-ADR을 제안한다. OS의 실시간 조율을 통해 악성 클라이언트는 PS에 배포된 방어를 회피하도록 그래디언트 업데이트를 전략적으로 조정하면서, 전역 모델 성능을 심각하게 저하시키거나 학습을 적대적 목표로 유도한다. 이 위협을 완화하기 위해, 우리는 각 클라이언트의 과거 업데이트로부터 실제 그래디언트를 추정하는 탐지 메커니즘을 제시하여 추가 오버헤드 없이 조율된 악성 행동의 실시간 탐지를 가능하게 한다. 또한 학습을 재시작하지 않고 전역 모델 성능을 복구하는 in-situ 복구 메커니즘을 도입하여 수렴을 유지하고 복구 시간을 최소화한다. MNIST, Fashion-MNIST, CIFAR-10 벤치마크 데이터셋에 대한 종합 실험은 Fed-ADR 공격 체계가 전역 정확도를 90% 이상에서 10% 미만으로 낮출 수 있으며 여러 최신(state-of-the-art) 방어를 우회함을 보여준다. 우리의 탐지 및 복구 모듈을 사용하면 악성 클라이언트를 식별하고 수 라운드 내에 정확도를 90% 이상으로 복구하며, 처음부터 재학습하는 것보다 훨씬 낮은 비용으로—계산 오버헤드를 최소 20배 줄이는—성과를 달성한다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
When Watermarks Turn Adversarial: Exposing Vulnerabilities in Document Understanding
적대적 미끼: ViT의 어텐션 기반 방어를 오도하기
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.