분산 적대적 학습 알고리즘의 탈출 효율성에 관한 연구
On the Escaping Efficiency of Distributed Adversarial Training Algorithms
한국어 초록
적대적 학습(adversarial training)은 적대적 공격에 대한 모델 견고성(robustness)을 향상하는 역할로 인해 최근 몇 년 동안 널리 연구되어 왔습니다. 본 논문은 다중 에이전트(multi-agent) 학습 환경 내에서 중앙 집중식 및 탈중앙화 전략을 포함한 다양한 분산 적대적 학습 알고리즘을 비교하는 데 중점을 둡니다. 선행 연구들은 견고성을 결정하는 데 있어 모델 평탄도(flatness)의 중요성을 강조해 왔습니다. 이를 위해 본 연구에서는 지역 최솟값(local minima)으로부터 이러한 알고리즘들의 탈출 효율성을 연구하기 위한 일반적인 이론적 프레임워크를 개발하며, 이는 결과 모델의 평탄도와 밀접한 관련이 있습니다. 연구 결과, 섭동 경계(perturbation bound)가 충분히 작고(즉, 공격 강도가 비교적 약하고) 대규모 배치(batch) 크기를 사용할 경우, 합의(consensus) 및 확산(diffusion)을 포함한 탈중앙화 적대적 학습 알고리즘이 중앙 집중식 전략보다 지역 최솟값에서 더 빠르게 탈출하는 것이 보장되어 더 평탄한 최솟값을 선호하게 됨을 보입니다. 그러나 섭동 경계가 커짐에 따라 이러한 경향은 더 이상 유지되지 않을 수 있습니다. 시뮬레이션 결과에서는 이론적 발견을 설명하고 탈중앙화 및 중앙 집중식 적대적 학습 알고리즘을 통해 얻은 모델의 성능을 체계적으로 비교합니다. 이 결과는 분산 환경에서 모델의 견고성을 향상하기 위한 탈중앙화 전략의 잠재력을 강조합니다.
원문 초록
Adversarial training has been widely studied in recent years due to its role in improving model robustness against adversarial attacks. This paper focuses on comparing different distributed adversarial training algorithms--including centralized and decentralized strategies--within multi-agent learning environments. Previous studies have highlighted the importance of model flatness in determining robustness. To this end, we develop a general theoretical framework to study the escaping efficiency of these algorithms from local minima, which is closely related to the flatness of the resulting models. We show that when the perturbation bound is sufficiently small (i.e., when the attack strength is relatively mild) and a large batch size is used, decentralized adversarial training algorithms--including consensus and diffusion--are guaranteed to escape faster from local minima than the centralized strategy, thereby favoring flatter minima. However, as the perturbation bound increases, this trend may no longer hold. In the simulation results, we illustrate our theoretical findings and systematically compare the performance of models obtained through decentralized and centralized adversarial training algorithms. The results highlight the potential of decentralized strategies to enhance the robustness of models in distributed settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
클라이언트가 조율될 때: 연합 학습 서버를 격파하는 전략적 그래디언트 조작과 효율적 방어
When Clients Are Orchestrated: Strategic Gradient Manipulation to Defeat Federated Learning Servers with Efficient Defense
연합 학습(Federated Learning)은 원시 데이터가 아니라 모델 업데이트를 중앙 매개변수 서버(PS)와 교환함으로써 분산 모델 학습을 가능하게 한다. 기존 방어의 대부분은 정적이거나 독립적으로 행동하는 적대자를 주로 가정하는 반면, 우리는 이러한 보호를 체계적으로 우회하는 새로운 유형의 동적·적응형 공격을 밝힌다. 우리는 악성 조율 서버(OS)가 표적·비표적 공격 클라이언트를 포함한 이질적 적대적 클라이언트 집합을 동적으로 조율하는 통합 공격 프레임워크 Fed-ADR을 제안한다. OS의 실시간 조율을 통해 악성 클라이언트는 PS에 배포된 방어를 회피하도록 그래디언트 업데이트를 전략적으로 조정하면서, 전역 모델 성능을 심각하게 저하시키거나 학습을 적대적 목표로 유도한다. 이 위협을 완화하기 위해, 우리는 각 클라이언트의 과거 업데이트로부터 실제 그래디언트를 추정하는 탐지 메커니즘을 제시하여 추가 오버헤드 없이 조율된 악성 행동의 실시간 탐지를 가능하게 한다. 또한 학습을 재시작하지 않고 전역 모델 성능을 복구하는 in-situ 복구 메커니즘을 도입하여 수렴을 유지하고 복구 시간을 최소화한다. MNIST, Fashion-MNIST, CIFAR-10 벤치마크 데이터셋에 대한 종합 실험은 Fed-ADR 공격 체계가 전역 정확도를 90% 이상에서 10% 미만으로 낮출 수 있으며 여러 최신(state-of-the-art) 방어를 우회함을 보여준다. 우리의 탐지 및 복구 모듈을 사용하면 악성 클라이언트를 식별하고 수 라운드 내에 정확도를 90% 이상으로 복구하며, 처음부터 재학습하는 것보다 훨씬 낮은 비용으로—계산 오버헤드를 최소 20배 줄이는—성과를 달성한다.
StyleAT: 의미론적 공격에 대한 얼굴 인식 방어
StyleAT: Defending Face Recognition Against Semantic Attacks
얼굴 인식 모델이 일상적인 인증 및 감시에 널리 쓰이면서, 최근 연구들은 이러한 모델의 한 가지 중요한 약점을 지적했다: 이 모델들은 적대적 의미론적 편집(adversarial semantic edits)에 여전히 매우 취약하다는 것이다. 즉, 입력에 대한 적대적으로 생성된 의미론적 변화(예: 약간의 노화나 자세 변화)가 오분류를 유발할 수 있다. 기존의 일부 공격은 강력하지만 계산 비용이 커서 방어(예: 적대적 학습을 통한) 개발에는 부적합하다. 이 공백을 메우기 위해, 우리는 StyleGAN의 풍부한 잠재 공간(latent space)에서 동작하여 오분류율을 극대화하는 강력한 의미론적 공격 BoundStyle을 제안한다. 특히 BoundStyle은 기존 최첨단 공격 대비 ${\sim}{\times}9.5$배 빠르면서도 높은 공격 성공률을 달성하여, 적대적 학습에 적합하다. BoundStyle을 기반으로, 저비용 공격 변형을 포함하면서도 더 강하고 보지 못한(unseen) 의미론적 공격에 대비하는 효율적인 적대적 학습 방식 StyleAT를 개발한다. 학습 과정에서 보지 못한 두 데이터셋과 일곱 개 모델에서 평가한 결과, StyleAT는 최첨단 공격에 대한 견고 정확도(robust accuracy)를 높이며 다양한 설정에서 일반적인 방어 기법을 능가한다.
탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습
Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks
AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어
Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models
적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.