arXiv:2402.11196

Maintaining Adversarial Robustness in Continuous Learning

Xiaolei Ru, Xiaowei Cao, Zijia Liu, Jack Murdoch Moore, Xin-Ya Zhang, Xia Zhu, Wenjia Wei, Gang Yan

제출 2024-02-17

원문 초록

Adversarial robustness is essential for security and reliability of machine learning systems. However, adversarial robustness enhanced by defense algorithms is easily erased as the neural network's weights update to learn new tasks. To address this vulnerability, it is essential to improve the capability of neural networks in terms of robust continual learning. Specially, we propose a novel gradient projection technique that effectively stabilizes sample gradients from previous data by orthogonally projecting back-propagation gradients onto a crucial subspace before using them for weight updates. This technique can maintaining robustness by collaborating with a class of defense algorithms through sample gradient smoothing. The experimental results on four benchmarks including Split-CIFAR100 and Split-miniImageNet, demonstrate that the superiority of the proposed approach in mitigating rapidly degradation of robustness during continual learning even when facing strong adversarial attacks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.19351v1cs.AI공통 태그 Adversarial Robustness, Continual Learning

OpenEvoShield: 개방 세계 다중 에이전트 시스템 공격에 대한 이중 비정상 지속적 방어

OpenEvoShield: Dual Non-Stationary Continual Defense for Open-World Multi-Agent System Attacks

LLM 기반 다중 에이전트 시스템(LLM-MAS)은 안전이 중요한(safety-critical) 응용 분야에 점점 더 배포되고 있으며, 여기서 적대자는 에이전트 간 통신을 통해 악의적 지시를 주입하여 유해한 행동을 전파한다. 정적 위협과 달리, 이러한 공격은 이중으로 동적이다: 적대자는 배포된 방어에 맞춰 주입 전략을 정교화하는 한편, 정상 에이전트의 행동은 시스템 확장에 따라 변화(drift)한다. 기존 방어는 배포를 폐쇄 세계(closed-world) 문제로 다루며, 어느 한쪽의 분포가 학습 커버리지를 벗어나면 급격히 성능이 저하된다. 우리는 LLM-MAS를 위한 공진화(co-evolutionary) 지속적 방어 프레임워크인 OpenEvoShield를 제안한다. 비대칭 속도 제어기(M1)는 이중 드리프트 신호로부터 빠른 공격 측과 느린 정상 측의 학습률을 분리한다. 정상 경계 업데이터(M2)는 느린 속도로 동적 행동 경계를 유지하고, EWC 정규화된 정책 앙상블(M3)은 치명적 망각(catastrophic forgetting) 없이 빠르게 적응한다. 에너지 기반 다중 세분성 탐지기(M4)는 노드, 서브그래프, 그래프 수준의 증거를 융합하여 새로운 공격을 분포 외(out-of-distribution)로 분류한다. 5개 벤치마크와 4가지 MAS 토폴로지에 걸친 100회 배포 라운드에 대한 실험 결과, OpenEvoShield는 정적 및 지속적 베이스라인을 능가하며, 대부분의 이전에 보지 못한 공격을 탐지하면서 거짓 양성(false positive) 비율을 낮게 유지한다.

arXiv:2607.13234v1cs.CV공통 태그 Adversarial Robustness, Continual Learning

지속적으로 진화하는 딥페이크 탐지: 동적 탐지 시스템의 아키텍처 및 공개 벤치마크 평가

Continuously Evolving Deepfake Detection: An Architecture and Public-Benchmark Evaluation of a Dynamic Detection System

학술 벤치마크에서 거의 완벽한 점수를 달성하는 딥페이크 탐지기는 실세계 콘텐츠에서는 성능이 급격히 무너집니다. 최근 in-the-wild 평가에서는 최신(state-of-the-art) 오픈소스 모델의 AUC가 45-50% 하락한다고 보고됩니다. 우리는 이 격차가 구조적이라고 주장합니다. 정적 탐지기는 계속 변화하는 생성 프론티어에 대해 한 번만 학습되기 때문입니다. 우리는 Bittensor SN34를 통해 학습된 BitMind Forensics(BMF)를 제안합니다. Bittensor SN34는 학습 분포를 지속적으로 갱신하는 공개 적대적(adversarial) 경쟁입니다. 우리는 이미지, 일반 비디오, 인간 비디오 체크포인트를 포함하는 하나의 특정 시점 export를 19개의 공개 데이터셋에서 평가합니다. 여기에는 표준 face-swap 스위트(FaceForensics++, Celeb-DF v1/v2/++, DFDC, DFD, UADFV, DF40)와 최근 in-the-wild 및 AI 생성 미디어 벤치마크(Sumsub, Deepfake-Eval-2024, WildRF, Community Forensics, AIGCDetectBench, GenImage, AI-GenBench, AIGIBench, RAID, GenVidBench, GenVideo-100K)가 포함됩니다. BMF는 Sumsub의 원본 이미지에서 0.936 AUC를 달성하고, 전체 4조건 조작 배터리(140만 이미지)에 대한 pooled AUC 0.872를 기록합니다. perturbation 하에서도 견고하며(0.855 JPEG, 0.799 downscaled), GPEN enhancement는 탐지 성능을 향상시킵니다(0.996). Deepfake-Eval-2024에서 BMF는 이미지에서 최고의 상용 탐지기와 동등합니다(0.915 vs 0.90)고, 비디오에서는 이를 초과합니다(0.822 vs 0.79). 이는 최고의 오픈소스 탐지기(0.56 및 0.63)보다 훨씬 높습니다. 21개 생성기 AI 이미지 패널에서 0.991 AUC, GenVidBench에서 0.918 AUC를 달성하며, DFDC(0.947 vs 0.843) 및 Celeb-DF v2(0.9985 vs 0.956)에서 FF++로 학습된 frontier를 초과합니다. 둘 다 오염 검증(contamination-audited)되었으며, Celeb-DF++에서는 통계적 동등성을 보입니다. 시간적 연구에서 연속된 특정 시점 export는 정적 기준선의 학습에 없던 생성기의 held-out 미디어에서 성능이 향상됩니다(이미지 0.842→0.902; 비디오 0.864→0.936). 평가 하네스는 공개되어 있으며, 출판 시점에 프로덕션 API는 독립적 검증을 위해 평가된 정확한 스냅샷을 제공합니다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2610.02283v2cs.LG공통 태그 Continual Learning

MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응

MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization

저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.

arXiv:2607.09993v2cs.GT공통 태그 Adversarial Robustness

베이지안 내쉬를 넘어서: 비대칭 정보 하의 적대적 팀 게임을 위한 미니맥스-후회 균형 학습

Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information

적대적 경로 탐색, 목표 탐색, 그래프 상의 도달 가능성 게임과 같이 비대칭 정보가 존재하는 적대적 팀 게임(ATG)은 숨겨진 목표 깃발과 같은 은닉된 상대 유형과 기만에 강건한 전략을 요구한다. 비대칭 정보 하에서 기만은 전지적 상대가 자연(Nature)과 공모하여 관찰된 유형에 따라 행동을 조정할 수 있도록 유형 분포를 전략적으로 이동시키는 것으로 간주된다. 베이지안 내시 균형(BNE)과 같은 기존의 위험 중립 해 개념은 분포 이동에 민감하며, 분포적으로 강건한 접근법은 미리 정해진 모호성 집합 내에서만 보장을 제공한다. 이러한 한계를 해결하기 위해 본 연구는 미니맥스 후회 추론의 분포 비의존적 강건성과 명목 유형 분포의 확률적 정보를 결합한 새로운 균형 개념인 확률적 강건 미니맥스 후회 균형(PR-MRE)을 도입한다. PR-MRE는 유형 공간의 고신뢰도 부분집합에 대해 최악의 경우 후회를 최소화하여, 확률 질량의 전략적 재분배에 대한 보호를 제공하면서 완전히 분포 비의존적인 접근법의 보수성을 피한다. 유한 정규형 베이지안 게임에서 근사 PR-MRE 계산을 강건 쌍선형 계획법으로 정식화할 수 있음을 보이고, 계산 가능한 반정부호 완화를 유도한다. 이어서 이 완화를 강건 이중 오라클 프레임워크 내의 새로운 메타 솔버인 PRMRE-PSRO로 적응시켜, 심층 강화학습 최선 응답을 통해 근사 PR-MRE 전략을 집단 기반으로 학습할 수 있게 한다. 그래프 구조의 적대적 팀 게임에서의 실험은 PR-MRE가 위험 중립 베이지안 내시 균형 해에 비해 숨겨진 유형 전반에서 최악의 경우 성능이 크게 향상된 전략을 발견하며, 그 결과 전략적 분포 이동 하에서 더 강건한 행동을 보임을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.