자율주행 시스템에 대한 연합 강화학습(FRL)의 포이즈닝 공격 취약점을 해결하기 위해, SecApp은 디지털 트윈 기반 리허설 학습과 이력 집계 파라미터를 활용해 악의적 에이전트의 그래디언트를 필터링하는 방어 프레임워크를 제안한다. 13가지 포이즈닝 공격에 대한 실험과 수렴 이론 분석을 통해 기존 방어 전략 대비 우수한 성능을 입증하였다.
커넥티드 자율주행차(CAV)의 LiDAR 인식에 사용되는 공개 3D 포인트 클라우드 데이터셋에 대한 포이즈닝 공격이 GAN 기반 데이터 증강 과정을 거친 후에도 정화(sanitization) 효과를 회피하고 증강된 데이터셋 전반에 걸쳐 전파됨을 실험적으로 검증한다. 오염된 샘플이 증강 후 오히려 증폭되어 범용 분류기의 의사결정을 교란할 수 있음을 보이며, 관련 코드와 데이터셋을 공개하여 재현성을 지원한다.
Retrieval-Augmented Generation (RAG) enhances Large Language Models (LLMs) by incorporating external knowledge, effectively mitigating their inherent knowledge limitations. However, RAG remains vulnerable to poisoning attacks that manipulate retrieved texts to mislead model outputs. Existing defense mechanisms often lack theoretical robustness guarantees and perform unreliably when the LLM has limited knowledge of the retrieved content. In this work, we propose PRA-RAG, a provably robust retrieval aggregation algorithm designed to defend against poisoning attacks on retrieved texts. PRA-RAG samples multiple combinations of retrieved texts and utilizes geometric structures in the embedding space to identify a robust subset, from which a stable aggregated representation is derived. We provide theoretical bounds on the maximum impact of poisoned retrieved content and establish a quantitative measure of RAG's robustness. Experiments across multiple benchmarks and RAG architectures demonstrate that PRA-RAG reduces the attack success rate to as low as 1% while maintaining an accuracy of 71%, significantly outperforming representative state-of-the-art methods.
포이즈닝 공격(poisoning attack)은 공격자가 의도적으로 학습 데이터를 변조하는 것을 의미한다. 본 논문에서는 음성 명령 분류 시스템에 대한 더티-레이블 포이즈닝 공격 시나리오를 고려한다. 위협 모델은 특정 클래스(소스 클래스)의 일부 발화에 트리거를 중첩하여 포이즈닝하고, 해당 레이블을 공격자가 선택한 다른 클래스(타겟 클래스)로 변경하는 것을 가정한다. 우리는 이러한 공격에 대한 필터링 방어를 제안한다. 먼저, 레이블 없는 지식 증류(DINO, DIstillation with NO labels)를 사용하여 모든 학습 예시에 대한 비지도 표현(unsupervised representation)을 학습한다. 다음으로, K-평균과 LDA를 사용하여 이러한 표현을 클러스터링한다. 마지막으로, 각 클러스터에서 가장 많이 반복되는 레이블을 가진 발화만을 학습에 사용하고 나머지는 제거한다. 소스 클래스의 10%가 포이즈닝된 경우, 공격 성공률이 99.75%에서 0.25%로 감소하는 것을 보인다. 서로 다른 타겟 및 소스 클래스, 트리거 변형을 포함한 다양한 위협 모델에 대해 제안된 방어를 검증하였다.