arXiv:2410.11639

Efficient and Effective Universal Adversarial Attack against Vision-Language Pre-training Models

Fan Yang, Yihao Huang, Kailong Wang, Ling Shi, Geguang Pu, Yang Liu, Haoyu Wang

제출 2024-10-15

원문 초록

Vision-language pre-training (VLP) models, trained on large-scale image-text pairs, have become widely used across a variety of downstream vision-and-language (V+L) tasks. This widespread adoption raises concerns about their vulnerability to adversarial attacks. Non-universal adversarial attacks, while effective, are often impractical for real-time online applications due to their high computational demands per data instance. Recently, universal adversarial perturbations (UAPs) have been introduced as a solution, but existing generator-based UAP methods are significantly time-consuming. To overcome the limitation, we propose a direct optimization-based UAP approach, termed DO-UAP, which significantly reduces resource consumption while maintaining high attack performance. Specifically, we explore the necessity of multimodal loss design and introduce a useful data augmentation strategy. Extensive experiments conducted on three benchmark VLP datasets, six popular VLP models, and three classical downstream tasks demonstrate the efficiency and effectiveness of DO-UAP. Specifically, our approach drastically decreases the time consumption by 23-fold while achieving a better attack performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13541v1cs.CR공통 태그 Data Augmentation, Adversarial Attack

T2I 합성 데이터가 역효과를 낼 때: 실제-합성 혼합 학습에서 증폭되는 프라이버시 위험

When T2I Synthetic Data Backfires: Amplified Privacy Risks in Real-Synthetic Mix Training

데이터 수집에서의 데이터 부족과 프라이버시 제약을 극복하기 위해, 학계와 산업 전반에서 실제 학습 데이터를 텍스트-이미지(text-to-image, T2I) 생성 합성 데이터로 증강하는 것이 표준 관행이 되었으며, 우리는 이 패러다임을 실제-합성 혼합 학습(Real-Synthetic Mix-Training, RSMT)이라고 부른다. 민감한 실제 샘플을 합성 데이터로 대체하는 것이 대체된 데이터의 프라이버시 노출을 완화하는 수단으로 널리 여겨지지만, 학습에 적극적으로 참여하는 남은 실제 샘플에 대한 위험은 대체로 검토되지 않았다. 본 연구는 처음으로 RSMT가 이러한 실제 학습 샘플의 프라이버시 유출을 상당히 증폭시킬 수 있음을 밝힌다. 우리는 RSMT 기억 증폭(RSMT Memorization Amplification)이라는 이론적 프레임워크를 수립하여, 합성 데이터를 통합하면 실제 샘플이 혼합 특징(feature) 공간의 주변 영역으로 밀려나게 되고, 그 결과 모델이 이를 더욱 공격적으로 기억하도록 강요됨을 증명한다. 이 기반을 바탕으로, 우리는 멤버십 추론(membership inference) 공격(MIA)을 통해 이 위험을 체계적으로 평가하는 RSMixLeak을 제안한다. RSMixLeak은 적대자의 역량에 따라 두 가지 변형으로 구성된다. 비적대적(non-adversarial) 변형은 정직한 T2I 제공자를 갖춘 정상적인 RSMT 파이프라인을 감사하여, 실제 데이터와 T2I 생성 데이터 사이의 고유한 간극에 의해 유발되는 유출의 하한(lower bound)을 확립한다. 적대적(adversarial) 변형은 T2I 모델을 통제하거나 T2I 제공자에 조작된 데이터를 기여하는 적대자를 고려하며, 고수준 의미론적 속성 결합(semantic attribute binding) 또는 인지할 수 없는 픽셀 수준 코팅(coating) 중 하나를 통해 대상 클래스에서 이 분포 간극을 의도적으로 확대하여, 하류 모델 유용성을 개선하면서 실제 학습 데이터에 대한 유출을 더욱 증폭시킨다. 이러한 발견에 동기부여되어, 우리는 실제 데이터만으로 계산 가능한 경량 유출 성향(leakage propensity) 지표를 추가로 제안하며, 이는 RSMT에 진입하기에 부적합한 고위험 데이터셋(dataset)을 신뢰성 있게 식별하는 자가 평가(self-assessable) 가능한 완화(mitigation) 수단이다.

arXiv:2607.06484v1cs.CR공통 태그 Data Augmentation, Adversarial Attack

커넥티드 자율주행 차량을 위한 증강된 3D 포인트 클라우드 공공 데이터셋에 대한 포이즈닝 공격의 운영적 영향 평가

Assessing the Operational Impact of Poisoning Attacks over Augmented 3D Point Cloud Public Datasets for Connected and Autonomous Vehicles

공공 데이터셋에 대한 포이즈닝 공격은 다음과 같은 주요 우려를 야기한다: (i) 오염된 데이터를 학습에 사용할 때 인식된 객체의 오분류, (ii) 학습된 모델에 특정 조건이 적용될 때 이후 트리거될 수 있는 백도어 임베딩. 데이터 증강 모델에 대한 포이즈닝의 영향은 불명확하다. 데이터 증강이 포이즈닝 공격 성공의 가능도를 낮추기는 하지만, 몇 가지 유효한 의문점이 남는다. 데이터 증강이 포이즈닝 공격의 영향을 변화시키는가? 오염된 샘플의 수 또는 주입된 백도어를 증가시킬 수 있는가? 본 논문에서는 이러한 의문들 중 일부를 탐구한다. 오염된 3D 포인트 클라우드 데이터셋을 증강할 때의 효과를 평가하고, 생성적 적대 신경망(GAN) 기법을 데이터 증강 처리의 구체적 사례로 활용하여 포이즈닝이 증강 기법의 정화(sanitizing) 특성을 회피할 수 있음을 검증한다. 또한 포이즈닝이 증강된 데이터셋 전반에 걸쳐 전파되어 범용 분류기의 최종 의사 결정을 교란시킨다는 점도 검증한다. 모든 실험 자료(도구, 데이터셋, 분류기 포함)는 재현성을 높이고 이 주제에 대한 추가 연구를 촉진하기 위해 공개적으로 제공된다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2610.02418v2cs.CR공통 태그 Adversarial Attack

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.