arXiv:2311.10919

PACOL: Poisoning Attacks Against Continual Learners

Huayu Li, Gregory Ditzler

제출 2023-11-18

원문 초록

Continual learning algorithms are typically exposed to untrusted sources that contain training data inserted by adversaries and bad actors. An adversary can insert a small number of poisoned samples, such as mislabeled samples from previously learned tasks, or intentional adversarial perturbed samples, into the training datasets, which can drastically reduce the model's performance. In this work, we demonstrate that continual learning systems can be manipulated by malicious misinformation and present a new category of data poisoning attacks specific for continual learners, which we refer to as {\em Poisoning Attacks Against Continual Learners} (PACOL). The effectiveness of labeling flipping attacks inspires PACOL; however, PACOL produces attack samples that do not change the sample's label and produce an attack that causes catastrophic forgetting. A comprehensive set of experiments shows the vulnerability of commonly used generative replay and regularization-based continual learning approaches against attack methods. We evaluate the ability of label-flipping and a new adversarial poison attack, namely PACOL proposed in this work, to force the continual learning system to forget the knowledge of a learned task(s). More specifically, we compared the performance degradation of continual learning systems trained on benchmark data streams with and without poisoning attacks. Moreover, we discuss the stealthiness of the attacks in which we test the success rate of data sanitization defense and other outlier detection-based defenses for filtering out adversarial samples.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27175v1cs.MM공통 태그 Continual Learning, Misinformation

이의 제기 경험의 기억 통합을 통한 자기 진화형 멀티미디어 검증

Self-Evolving Multimedia Verification through Memory Consolidation of Contestation Experiences

멀티미디어 검증은 정확한 판단뿐 아니라 추적 가능한 증거, 신뢰할 수 있는 인간의 수정, 그리고 선행 경험의 안전한 재사용을 요구한다. 기존 시스템은 종종 중간 추론을 수정하거나 유해한 지식 전이를 방지하는 명시적 메커니즘을 갖추지 못한다. 본 논문은 SEMV(Self-Evolving Multimedia Verification)를 제안한다. 이는 자기 진화형 다중 에이전트 프레임워크로, 출처 정보를 담은 논증(argument)을 증거, 추론, 인간의 이의 제기(contestation), 기억(memory) 사이의 인터페이스로 다룬다. SEMV는 아레나 기반 정량적 이분 논증(A-QBAF), 인과적·범위 제한(scoped) 수정, 검증 게이트가 있는 기억 통합 및 명시적 갈등 보존을 결합한다. COSMOS 벤치마크에서 SEMV는 91.88% 정확도를 달성하며, 이는 비교 가능한 최강 기준선의 89.10%를 상회한다. 검증된 기억은 부정적 전이를 5.7%에서 0.2%로 줄인다. 리뷰어 이의 제기로 구성된 CTR 벤치마크에서 범위 제한 인과 수정은 초기 오류의 96.7%를 교정하면서 연산량 52.8%를 절감한다. MV2026 Grand Challenge 데이터셋은 증거 기반의 시간적으로 일관된 보고를 추가로 뒷받침한다. 이러한 결과는 SEMV가 검증된 경험을 통해 진화할 수 있으면서, 축적된 지식과 이후 결정을 추적 가능하고, 수정 가능하며, 이의를 제기할 수 있게 유지할 수 있음을 보여준다.

arXiv:2607.15267v1cs.AI공통 태그 Misinformation, Data Poisoning

사전학습 데이터는 계산적 선전(computational propaganda)을 통해 오염될 수 있다

Pretraining Data Can Be Poisoned through Computational Propaganda

사전학습 데이터를 오염시키면 언어 모델(LM)에 탐지·완화하기 어려운 유해 행동을 유발할 수 있다. 기존 사전학습 데이터 오염(poisoning) 연구는 대부분 Wikipedia와 같은 정립된 데이터 소스를 활용해 왔는데, 이는 사전학습 코퍼스(pretraining corpus)에 흔한 대규모·이질성을 반영하지 못하며, 오염된 데이터와 데이터 큐레이션(data curation) 파이프라인 간 상호작용은 간과해 왔다. 우리는 공개 토론 인터페이스(public discussion interface)라는 기존의 웹 규모 콘텐츠 주입 메커니즘을 통해, 이러한 제한된 설정을 넘어서도 사전학습 데이터에 대한 오염 공격이 실현 가능함을 보인다. 또한 웹 크롤링(web crawling)과 데이터 큐레이션 이후 악성 콘텐츠가 포함되는지 측정하기 위해, 웹 크롤 기반 LM 학습 데이터에서 적대적(adversarial) 콘텐츠 포함 여부를 추정하는 새로운 분석 방법인 HalfLife를 제안한다. HalfLife를 사용해 공개 토론 인터페이스를 통해 웹 규모로 사전학습 코퍼스를 오염시키는 것의 실현 가능성을 탐구한다. 분석 결과, 오염 주입이 사전학습 데이터에 포함되는지 추정하는 일의 중요성을 보여 주며, 제3자 웹페이지 콘텐츠가 언어 모델 사전학습을 공격할 수 있는 가능한 경로(vector)임을 확인한다.

arXiv:2606.29841v1cs.LG공통 태그 Continual Learning, Data Poisoning

데이터 포이즈닝 공격에 대한 지속 학습 이론

Theory of Continual Learning Against Data Poisoning Attacks

지속 학습(CL, Continual Learning)은 모델이 일련의 데이터 태스크에 대해 순차적으로 학습하는 방식으로, 대규모 언어 모델(LLM)과 이미지 인식 등 핵심 분야에서 채택이 확산되고 있으나, 학습 발산 또는 심각한 초과 위험을 유발하는 데이터 포이즈닝(data poisoning)에 여전히 매우 취약하다. 이러한 위협에도 불구하고, 공격과 방어를 이해하기 위한 원칙적인 이론적 토대가 CL 분야에서는 아직 부재한 상태이다. 본 논문에서는 최근 CL 이론의 핵심을 이루는 정규화(regularization) 기반 CL에서의 전략적 공격과 방어를 분석하는 이론적 프레임워크를 개발한다. 공격자와 방어자의 상호작용을 온라인 제로섬 게임(zero-sum game)으로 모델링함으로써, 먼저 근본적인 성능 한계를 확립한다: 정규화 기반 CL에서 공격자가 태스크의 선형 비율에 비례하여 무한한 노이즈 또는 패턴 이동을 주입함으로써 포이즈닝할 경우, 어떠한 방어도 성공할 수 없다. 이어서 방어 가능성이 있는 두 가지 시나리오를 분석한다: 비정기적 공격과 공격당 제한된 노이즈. 전자의 체계에서는 데이터 포이즈닝을 탐지하고 학습 수렴을 위해 누적 바이어스(bias)를 줄이는 태스크 간 검증 메커니즘을 제안한다. 후자의 체계에서는 포이즈닝된 특징에 대한 모델(model)의 민감도를 최소화하여 수렴(convergence) 속도를 이론적으로 가속하는 강건한 방어 기법을 도출한다. 현실적인 태스크에 대한 광범위한 실험을 통해 이론적 결과를 추가로 검증한다.

arXiv:2606.26629v2cs.LG공통 태그 Continual Learning

가중치에서 특징으로: 거대 언어 모델의 지속 학습을 위한 희소 오토인코더 기반 활성화 정규화

From Weights to Features: Sparse-Autoencoder-Guided Activation Regularization for Continual Learning in Large Language Models

탄성 가중치 통합(EWC)과 같은 가중치 보호 정규화 기법은 파국적 망각에 대한 표준적인 방어책이다. 그러나 거대 언어 모델의 순차적 미세조정에서는 페널티 튜닝으로 해결할 수 없는 안정성-가소성 트레이드오프가 나타난다. 우리는 이러한 한계가 부분적으로 다의성(polysemanticity) 때문이라고 본다. 각 가중치가 서로 무관한 여러 개념에 관여하므로, 가중치별 중요도 점수로는 보호가 필요한 지식을 분리해 내기 어렵다. 대신 우리는 사전 학습된 희소 오토인코더(SAE)를 대략적으로 단의미적인 특징들의 고정된 사전으로 사용하여 활성화 공간에서 정규화한다. 지속 학습을 특징 드리프트에 대한 제약 최적화로 정식화하며, 보존할 특징에는 안정성 제약을, 현재 과제가 사용하는 특징에는 가소성 제약을 둔다. 그리고 그 결과로 얻어지는 제곱 힌지 손실이 이 문제의 정규화된 라그랑주 완화이며 EWC가 그 특수한 경우임을 보인다. 리플레이 변형은 이전 과제당 저장된 200개의 시퀀스에서 드리프트를 측정하는 반면, 데이터 비의존 변형은 과제당 197 KB의 특징 마스크만 저장하며, 이는 EWC의 6.5 GB와 대비된다. TRACE(Gemma-2 9B, Llama-3.1 8B)와 MedCL(Gemma-2 9B)에서 리플레이 변형은 SAE 기반 특징 증류와 동등하거나 그 이상의 성능을 단계당 약 3분의 1의 비용으로 달성하며, 데이터 비의존 변형은 이전 과제 데이터를 저장하지 않고 과제별 파라미터를 추가하지 않는 방법 중 가장 높은 평균 전체 성능을 기록한다. 과제 관련 유닛은 SAE 기저에서는 선형 분리가 가능하지만 뉴런 기저에서는 그렇지 않으며(ROC-AUC 0.87-0.88 대 0.50), 가중치 공간 보호는 보호 대상 과제의 특징만큼이나 강하게 다른 과제의 특징도 제약한다.

arXiv:2606.28725v2cs.CL공통 태그 Continual Learning

DriftGuard: 진화하는 유해성 모더레이션을 위한 안전성 인식 다중 모니터 탐지 및 선택적 적응

DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation

자동화된 유해성 검열 시스템은 은어, 변화하는 표적, 단속에 대한 전략적 적응을 통해 유해 행위가 진화하는 동적인 온라인 환경에서 작동한다. 기존의 드리프트 탐지 방법은 흔히 전역적 분포 변화에 초점을 맞추지만, 이러한 신호는 국소적인 유해성 부분공간이나 위험도가 높은 모델 오류 영역에서 나타나는 안전 관련 변화를 놓칠 수 있다. 본 논문은 다중 모니터 드리프트 탐지와 선택적 모델 업데이트를 결합한 안전 인식 적응형 검열 프레임워크인 DriftGuard를 소개한다. 이 프레임워크는 전역 텍스트 드리프트, 정체성 관련 유해성 드리프트, 모델 불확실성, 유해 위험 드리프트, 위음성 위험 드리프트를 추적한다. 안전 관련 변화가 탐지되면, 위음성 가능성이 높은 사례, 정체성 관련 고위험 사례, 위양성 위험 사례, 불확실한 경계 사례를 우선하는 하드 믹스 적응 세트를 사용하여 모델을 업데이트한다. Civil Comments의 시간적 변화와 Jigsaw-to-DynaHate의 데이터셋 간 변화에 대한 실험 결과, 안전 인식 모니터는 전역 드리프트만으로는 놓치는 위험을 탐지한다. 하드 믹스 적응은 무업데이트 및 무작위 균형 베이스라인에 비해 유해 재현율과 정확도를 향상시킨다. 유해 재현율은 Civil Comments에서 0.8453에서 0.8777로, DynaHate에서 0.7107에서 0.8523으로 상승한다. 부트스트랩 분석은 DynaHate에서 안전성 향상이 안정적임을 추가로 보여 주며, 유해 재현율은 0.1418 증가하고 위음성 유병률은 0.0781 감소한다. 종합하면 DriftGuard는 안전 인식 드리프트 탐지를 표적화된 경량 모델 업데이트와 연결하여 더 강건한 적응형 유해성 검열을 가능하게 한다.

arXiv:2607.13920v2cs.CL공통 태그 Misinformation

DeepStress: 딥 검색 에이전트 스트레스 테스트

DeepStress: Stress-Testing Deep Search Agents

검색 에이전트는 다단계 질의응답에서 인상적인 능력을 보이지만, 품질이 낮은 증거에 대한 견고성은 충분히 연구되지 않았다. 이러한 증거는 벤치마크 코퍼스에서 드물며, 그로 인한 실패는 재현하기 어렵다. 우리는 에이전트에 열화된 증거를 통제된 비율로 제공하는 동적 스트레스 테스트 프레임워크인 DeepStress를 제안한다. 이 프레임워크는 검색 모듈을 질의마다 문서가 동적으로 생성되는 합성 환경으로 대체하며, 문서의 신뢰성, 관련성, 사실성을 독립적으로 제어한다. 스트레스 상황에서의 행동을 규명하기 위해, 이진 정확도를 넘어 최종 답변 결과에 대한 5가지 분류와, 신중한 행동을 인정하고 계산 비용을 반영하는 두 가지 새로운 신뢰성 인지 지표인 RAS와 CoPRAS를 도입한다. HotpotQA와 BrowseComp-Plus의 질문으로 12개 시스템을 평가한 결과, 여러 오픈 웨이트 에이전트가 출처에 명백한 신뢰성 경고 신호가 있을 때도 자신 있게 답하며, 많은 HotpotQA 질문이 반환된 모든 문서가 사실과 다른 경우에도 파라미터 지식으로 답해진다는 것을 확인하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.