Attack Tree Analysis for Adversarial Evasion Attacks
원문 초록
Recently, the evolution of deep learning has promoted the application of machine learning (ML) to various systems. However, there are ML systems, such as autonomous vehicles, that cause critical damage when they misclassify. Conversely, there are ML-specific attacks called adversarial attacks based on the characteristics of ML systems. For example, one type of adversarial attack is an evasion attack, which uses minute perturbations called "adversarial examples" to intentionally misclassify classifiers. Therefore, it is necessary to analyze the risk of ML-specific attacks in introducing ML base systems. In this study, we propose a quantitative evaluation method for analyzing the risk of evasion attacks using attack trees. The proposed method consists of the extension of the conventional attack tree to analyze evasion attacks and the systematic construction method of the extension. In the extension of the conventional attack tree, we introduce ML and conventional attack nodes to represent various characteristics of evasion attacks. In the systematic construction process, we propose a procedure to construct the attack tree. The procedure consists of three steps: (1) organizing information about attack methods in the literature to a matrix, (2) identifying evasion attack scenarios from methods in the matrix, and (3) constructing the attack tree from the identified scenarios using a pattern. Finally, we conducted experiments on three ML image recognition systems to demonstrate the versatility and effectiveness of our proposed method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
커넥티드 자율주행 차량을 위한 증강된 3D 포인트 클라우드 공공 데이터셋에 대한 포이즈닝 공격의 운영적 영향 평가
Assessing the Operational Impact of Poisoning Attacks over Augmented 3D Point Cloud Public Datasets for Connected and Autonomous Vehicles
공공 데이터셋에 대한 포이즈닝 공격은 다음과 같은 주요 우려를 야기한다: (i) 오염된 데이터를 학습에 사용할 때 인식된 객체의 오분류, (ii) 학습된 모델에 특정 조건이 적용될 때 이후 트리거될 수 있는 백도어 임베딩. 데이터 증강 모델에 대한 포이즈닝의 영향은 불명확하다. 데이터 증강이 포이즈닝 공격 성공의 가능도를 낮추기는 하지만, 몇 가지 유효한 의문점이 남는다. 데이터 증강이 포이즈닝 공격의 영향을 변화시키는가? 오염된 샘플의 수 또는 주입된 백도어를 증가시킬 수 있는가? 본 논문에서는 이러한 의문들 중 일부를 탐구한다. 오염된 3D 포인트 클라우드 데이터셋을 증강할 때의 효과를 평가하고, 생성적 적대 신경망(GAN) 기법을 데이터 증강 처리의 구체적 사례로 활용하여 포이즈닝이 증강 기법의 정화(sanitizing) 특성을 회피할 수 있음을 검증한다. 또한 포이즈닝이 증강된 데이터셋 전반에 걸쳐 전파되어 범용 분류기의 최종 의사 결정을 교란시킨다는 점도 검증한다. 모든 실험 자료(도구, 데이터셋, 분류기 포함)는 재현성을 높이고 이 주제에 대한 추가 연구를 촉진하기 위해 공개적으로 제공된다.
REVIVE: 자율주행차량의 반달리즘 탐지 및 복원을 위한 멀티모달 프레임워크
REVIVE: A Multi-Modal Framework for Vandalism Detection and Recovery in Autonomous Vehicles
자율주행차량(AV)은 카메라 기반 인식 시스템을 손상시키는 반달리즘 유발 폐색 공격(VOA, Vandalism-induced Occlusion Attack)의 위협에 점점 더 많이 노출되고 있다. 탐지 프레임워크가 훼손된 이미지를 식별할 수 있는 반면, 물리적 폐색 이후 카메라 스트림의 유용성을 복원하는 방법은 아직 충분히 연구되지 않았다. 본 논문에서는 시각적 우수성을 위한 훼손 이미지 복원 및 향상 프레임워크인 REVIVE(Recovery and Enhancement of Vandalized Images for Vision Excellence)를 제안한다. 이 반달리즘 복원 파이프라인은 다음을 통합한다: (1) 이진 VOA 탐지, (2) 다중 클래스 VOA 패턴 식별, (3) EfficientNet 기반 U-Net 세그멘테이션, (4) BLIP(Bootstrapping Language-Image Pre-training) 가이드 Stable Diffusion 인페인팅, 직접 픽셀 대체, 또는 적응형 중앙값 필터링을 활용하는 유형 인식 복원. Stable Diffusion은 VOA 패턴에 따라 가변적인 복원 성능(패턴별 SSIM 0.667–0.867, PSNR 15.4–26.7dB)을 보이며, 정렬된 직접 픽셀 대체는 정렬 참조 조건 하에서 거의 동일한 복원을 달성한다. 500쌍의 추적된 정상/훼손 이미지 쌍에서, 복원되지 않은 VOA는 YOLOv8l 객체 탐지 재현율을 0.588로 저하시키는 반면, 직접 픽셀 대체는 정렬 참조 조건 하에서 재현율을 0.967, F1 점수를 0.970으로 복원한다. LaMa, Telea, Navier-Stokes 기준선은 이미지 유사도를 향상시키지만 하위 탐지 복원은 더 제한적이며, Stable Diffusion은 실시간 인식을 차단하는 단계가 아닌 품질 게이트가 적용되는 비동기 복원 분기로 처리된다. 본 논문에서는 하위 사용 전 복원 후보를 필터링하는 참조 가용 품질 게이트를 평가한다: 이를 적용하지 않을 경우 유형 인식 라우팅은 이미지당 재현율을 0.304로 저하시키는 반면, 적용 시 재현율은 복원되지 않은 기준선과 같거나 높은 0.608로 회복되어, 전달되는 스트림이 복원되지 않은 프레임보다 결코 나빠지지 않음을 보장한다. 따라서 REVIVE는 자율주행차량에서의 VOA에 대한 구조화된 복원 프레임워크를 제공한다.
데자뷔 깨기: 시각-언어 추론을 통한 시각적 장소 인식의 독립적 감사
Breaking D\'ej\`a Vu: Independent Auditing of Visual Place Recognition through Vision-Language Reasoning
시각적 장소 인식(VPR)은 동시 위치추정 및 지도작성(SLAM)을 위한 루프 클로저 탐지와 같이 로봇 공학 응용에서 정확한 위치 추정과 장기 자율 주행을 가능하게 하는 핵심 기술이다. 그러나 실제 환경에서의 VPR 배포는 정밀도와 재현율의 균형을 맞추는 이미지 매칭 임계값 선택에 의존한다. 이러한 임계값은 일반적으로 라벨이 붙은 검증 데이터로 조정된 뒤 배포 시 고정되므로, 정답(ground truth)을 사용할 수 없는 환경 변화 하에서는 신뢰할 수 없다. 이는 거짓 루프 클로저를 수용하면 추정 궤적과 지도가 손상될 수 있는 안전이 중요한 로봇 공학에서 특히 문제가 된다. 본 연구에서는 쿼리 이미지와 후보 이미지에 대해 공동으로 추론하여 검색된 매칭을 평가하기 위해 비전-언어 모델(VLM)을 활용하는, 검색 후 독립 검증 프레임워크인 Visual Place Recognition Auditing을 제안한다. 기존 검증 방법과 달리, 본 접근법은 아키텍처별 신뢰도 측정, 데이터셋 의존적 임계값, 또는 배포 환경에 대한 사전 지식 없이 인스턴스 수준 검증을 수행한다. 우리는 5가지 최신 VPR 방법과 4개의 VLM을 사용하여 6개 벤치마크 데이터셋에서 방법을 평가했다. 결과는 VLM 기반 감사가 최신 방법 대비 평균 recall@1을 13.6% 향상시키면서 거짓 수용률을 12%로 낮추고, 정밀도 95% 이상과 커버리지 75% 이상을 유지함을 보여준다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
When Watermarks Turn Adversarial: Exposing Vulnerabilities in Document Understanding
토론
이 논문과 연결된 포럼 글이 아직 없습니다.