데이터 포이즈닝 공격에 대한 지속 학습 이론
Theory of Continual Learning Against Data Poisoning Attacks
한국어 초록
지속 학습(CL, Continual Learning)은 모델이 일련의 데이터 태스크에 대해 순차적으로 학습하는 방식으로, 대규모 언어 모델(LLM)과 이미지 인식 등 핵심 분야에서 채택이 확산되고 있으나, 학습 발산 또는 심각한 초과 위험을 유발하는 데이터 포이즈닝(data poisoning)에 여전히 매우 취약하다. 이러한 위협에도 불구하고, 공격과 방어를 이해하기 위한 원칙적인 이론적 토대가 CL 분야에서는 아직 부재한 상태이다. 본 논문에서는 최근 CL 이론의 핵심을 이루는 정규화(regularization) 기반 CL에서의 전략적 공격과 방어를 분석하는 이론적 프레임워크를 개발한다. 공격자와 방어자의 상호작용을 온라인 제로섬 게임(zero-sum game)으로 모델링함으로써, 먼저 근본적인 성능 한계를 확립한다: 정규화 기반 CL에서 공격자가 태스크의 선형 비율에 비례하여 무한한 노이즈 또는 패턴 이동을 주입함으로써 포이즈닝할 경우, 어떠한 방어도 성공할 수 없다. 이어서 방어 가능성이 있는 두 가지 시나리오를 분석한다: 비정기적 공격과 공격당 제한된 노이즈. 전자의 체계에서는 데이터 포이즈닝을 탐지하고 학습 수렴을 위해 누적 바이어스(bias)를 줄이는 태스크 간 검증 메커니즘을 제안한다. 후자의 체계에서는 포이즈닝된 특징에 대한 모델(model)의 민감도를 최소화하여 수렴(convergence) 속도를 이론적으로 가속하는 강건한 방어 기법을 도출한다. 현실적인 태스크에 대한 광범위한 실험을 통해 이론적 결과를 추가로 검증한다.
원문 초록
Continual learning (CL), where a model is trained on a sequence of data tasks, is increasingly being adopted across key fields such as large language models and image recognition, yet it remains highly vulnerable to data poisoning that triggers learning divergence or severe excess risk. Despite these threats, a principled theoretical foundation in CL for understanding attack and defense remains lacking. In this paper, we develop a theoretical framework to analyze strategic attacks and defenses in regularization-based CL, a cornerstone of recent CL theory. By framing the adversary-defender interaction as an online zero-sum game, we first establish a fundamental performance limit: no defense succeeds when an adversary poisons a linear proportion of tasks by injecting unbounded noise or pattern shifts in regularization-based CL. We then analyze two possibly defensible scenarios: infrequent attacks and bounded noise per attack. For the former regime, we propose a task-to-task verification mechanism to detect data poisoning and reduce cumulative bias for learning convergence. For the latter regime, we derive a robust defense that minimizes the model's sensitivity to poisoned features, provably accelerating the convergence rate. Extensive experiments on realistic tasks further validate our theoretical results.
요약
정규화 기반 지속 학습(Continual Learning)에서 데이터 포이즈닝 공격에 대한 공격·방어를 온라인 제로섬 게임으로 모델링하여, 공격 빈도·크기·패턴에 따른 방어 가능성의 근본적 한계를 이론적으로 규명한다. 비정기적 무한 공격에는 태스크 간 검증(T2T) 메커니즘을, 빈번하지만 제한된 공격에는 포이즈닝된 특징 민감도를 최소화하는 강건한 정규화 방어를 제안하고, 이를 CIFAR-100, CIFAR-10 등 실험으로 검증한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29841v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
신경망에 백도어를 심는 것은 왜 이토록 쉬운가?
Why Backdooring Neural Networks is so Easy?
현대 AI 시스템을 백도어 공격(backdoor attack)으로부터 보호하는 것은 여전히 미해결 과제로 남아 있으며, 성공적이면서도 은밀한 공격을 설계하는 데 필요한 공격자 자원(adversary's budget), 즉 오염 비율 $π$와 트리거 강도(trigger strength) $α$에 대한 근본적이고 원리적인 추정이 필요합니다. 깨끗한 데이터셋이 커지더라도 대규모 언어 모델(LLM)을 오염시키는 데 거의 일정한 수의 악성 샘플만이 필요할 수 있다는 최근 실증적 증거에 착안하여, 본 연구는 오염된 가우시안 혼합(Gaussian mixture)에서 학습된 2차 뉴런(quadratic neuron)에 대한 정확한 닫힌 형태 분석(closed-form analysis)을 도출합니다. 연구 결과, 직관에 반할 수도 있지만 신경망을 강력하게 만드는 바로 그 특징 학습(feature learning) 역학이 역설적으로 신경망을 백도어에 더 취약하게 만들 수 있음을 보여줍니다. 구체적으로, 깨끗한 데이터에 대한 정확도가 1차 근사 $O(π)$로 보존되는 상황에서 레이지 러닝(lazy learning)은 성공적인 공격을 위해 역제곱근 스케일링인 $α\propto π^{-1/2}$을 요구하는 반면, 특징 학습은 손실 마진(loss margin)이 $O(α^4)$로 스케일링되는 2차 탐지기(quadratic detector)를 유도하여 공격 자원을 $α\propto π^{-1/4}$로 개선함을 입증합니다. 결과적으로 비선형 특징 학습은 작은 오염 비율에서 요구되는 트리거 강도를 대폭 낮추며, 이는 어떤 면에서 특징 학습 모델을 백도어에 더 취약하게 만듭니다. 이러한 결과는 대규모 실증적 관찰과 일치하는 이론적 메커니즘을 제공하며, 선형 휴리스틱에 기반한 보안 감사가 널리 채택된 특징 학습 체계에서 백도어 취약성을 체계적으로 과소평가할 수 있음을 보여줍니다.
OpenEvoShield: 개방 세계 다중 에이전트 시스템 공격에 대한 이중 비정상 지속적 방어
OpenEvoShield: Dual Non-Stationary Continual Defense for Open-World Multi-Agent System Attacks
LLM 기반 다중 에이전트 시스템(LLM-MAS)은 안전이 중요한(safety-critical) 응용 분야에 점점 더 배포되고 있으며, 여기서 적대자는 에이전트 간 통신을 통해 악의적 지시를 주입하여 유해한 행동을 전파한다. 정적 위협과 달리, 이러한 공격은 이중으로 동적이다: 적대자는 배포된 방어에 맞춰 주입 전략을 정교화하는 한편, 정상 에이전트의 행동은 시스템 확장에 따라 변화(drift)한다. 기존 방어는 배포를 폐쇄 세계(closed-world) 문제로 다루며, 어느 한쪽의 분포가 학습 커버리지를 벗어나면 급격히 성능이 저하된다. 우리는 LLM-MAS를 위한 공진화(co-evolutionary) 지속적 방어 프레임워크인 OpenEvoShield를 제안한다. 비대칭 속도 제어기(M1)는 이중 드리프트 신호로부터 빠른 공격 측과 느린 정상 측의 학습률을 분리한다. 정상 경계 업데이터(M2)는 느린 속도로 동적 행동 경계를 유지하고, EWC 정규화된 정책 앙상블(M3)은 치명적 망각(catastrophic forgetting) 없이 빠르게 적응한다. 에너지 기반 다중 세분성 탐지기(M4)는 노드, 서브그래프, 그래프 수준의 증거를 융합하여 새로운 공격을 분포 외(out-of-distribution)로 분류한다. 5개 벤치마크와 4가지 MAS 토폴로지에 걸친 100회 배포 라운드에 대한 실험 결과, OpenEvoShield는 정적 및 지속적 베이스라인을 능가하며, 대부분의 이전에 보지 못한 공격을 탐지하면서 거짓 양성(false positive) 비율을 낮게 유지한다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어
Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models
적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.
JevOut: 자연스러운 문맥이 의사결정 모델을 뒤흔들 수 있다
JevOut: Natural Context Can Flip Decision Models
평범해 보이는 배경 정보 하나가 모델의 올바른 결정을 확신에 찬 실수로 바꿀 수 있습니다. 본 연구는 지식, 추론, 도구 라우팅(tool routing)을 다루는 7개 데이터셋에 걸쳐 Jev를 포함한 4개 의사결정 시스템에서 이러한 취약성을 입증합니다. 결정당 수용된 64회의 타깃 평가 내에서, 각 시스템의 초기에 올바랐던 결정 중 61.4%-73.2%를 사전에 정해둔 오답 선지로 유도하는 짧은 추가 문맥을 찾아냈습니다. 이러한 추가 문맥은 명시적인 정답 선택 지시 대신 배경 정보나 절차적 정보를 제공하며, 원래의 질문과 선택지는 그대로 유지합니다. 저자들은 자연스러움 및 정답 보존 제약 조건 하에서 선지 분포의 변화를 이용해 주변 텍스트를 개선하는 확률 기반 문맥 최적화(probability-guided context optimization)를 통해 이를 생성했습니다. 이러한 오도(redirection)는 초기에 확신도가 높았던 결정에도 영향을 미치며, 종종 확신도 높은 오답을 생성하고 모델 간에도 전이됩니다. 블라인드 인간 평가(blinded human evaluation)에서 표본 추출된 250개의 성공적인 문맥 중 91.6%는 독립적인 3명의 평가자 중 과반수에 의해 자연스럽고 정답을 보존하며 정답을 바꿀 만한 결정적 증거가 없다고 판단되었습니다. 본 연구 결과는 현재 의사결정 모델의 약점을 드러냅니다. 즉, 입력과 완전히 조화로워 보이는 문맥이 에이전트(agent), 라우터, 평가자가 의존하는 선택을 왜곡할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.