arXiv:2302.03684

Temporal Robustness against Data Poisoning

Wenxiao Wang, Soheil Feizi

제출 2023-02-07

원문 초록

Data poisoning considers cases when an adversary manipulates the behavior of machine learning algorithms through malicious training data. Existing threat models of data poisoning center around a single metric, the number of poisoned samples. In consequence, if attackers can poison more samples than expected with affordable overhead, as in many practical scenarios, they may be able to render existing defenses ineffective in a short time. To address this issue, we leverage timestamps denoting the birth dates of data, which are often available but neglected in the past. Benefiting from these timestamps, we propose a temporal threat model of data poisoning with two novel metrics, earliness and duration, which respectively measure how long an attack started in advance and how long an attack lasted. Using these metrics, we define the notions of temporal robustness against data poisoning, providing a meaningful sense of protection even with unbounded amounts of poisoned samples when the attacks are temporally bounded. We present a benchmark with an evaluation protocol simulating continuous data collection and periodic deployments of updated models, thus enabling empirical evaluation of temporal robustness. Lastly, we develop and also empirically verify a baseline defense, namely temporal aggregation, offering provable temporal robustness and highlighting the potential of our temporal threat model for data poisoning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2406.05670v3cs.LG공통 태그 Data Poisoning공식 코드 · Papers with Code

그래디언트 기반 학습에서 데이터 중독에 대한 인증된 견고성

Certified Robustness to Data Poisoning in Gradient-Based Training

현대 기계학습 파이프라인은 대량의 공개 데이터를 활용하므로 데이터 품질을 보장하기 어렵고, 모델이 데이터 중독(data poisoning) 및 백도어(backdoor) 공격에 노출됩니다. 이러한 공격 하에서 모델 동작을 증명 가능하게 한정하는 것은 여전히 미해결 문제입니다. 본 연구에서는 모델이나 학습 알고리즘을 수정하지 않고도 잠재적으로 조작된 데이터로 학습된 모델의 동작에 대한 증명 가능한 보장을 제공하는 최초의 프레임워크를 개발하여 이 문제에 대응합니다. 특히 본 프레임워크는 학습 입력과 레이블에 대한 유계 및 무계 조작에 대해 비표적 및 표적 중독과 백도어 공격 모두에 대한 견고성을 인증합니다. 본 방법은 볼록 완화(convex relaxation)를 활용하여 주어진 중독 위협 모델에 대한 모든 가능한 매개변수 업데이트 집합을 과대 근사함으로써, 모든 그래디언트 기반 학습 알고리즘에 대해 도달 가능한 매개변수 집합 전체를 경계합니다. 이 매개변수 집합을 바탕으로 모델 성능과 백도어 성공률을 포함한 최악의 경우 동작에 대한 경계를 제공합니다. 에너지 소비, 의료 영상, 자율 주행 등의 응용 분야에서 다수의 실제 데이터셋에 대해 본 접근법을 시연합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.