arXiv:2608.06674v1 cs.CV

어텐션 오염: 디텍션 트랜스포머의 인코더 어텐션에 대한 회피 기반 적대적 공격

Corrupting Attention: Evasion-Based Adversarial Attacks on Encoder Attention in Detection Transformers

Ridma Jayasundara, Shaheer Mohamed, Tharindu Fernando, Harshala Gammulle, Basura Fernando, Sanka Rasnayake, A V Subramanyam, Sridha Sridharan, Clinton Fookes

제출 2026-08-07

한국어 초록

적대적 취약성은 신경망의 안전한 배포에 있어 여전히 주요한 우려 사항이며, 특히 많은 안전 필수 시스템에 내장된 핵심 태스크인 객체 검출(object detection)에서 더욱 그러합니다. 디텍션 트랜스포머(detection transformer)는 대표적인 객체 검출기로 부상했으나, 이들의 적대적 강건성은 상대적으로 충분히 연구되지 않았습니다. 대부분의 기존 공격은 이러한 모델을 차별화하는 어텐션 메커니즘보다는 검출 출력을 표적으로 삼습니다. 본 논문에서는 인지하기 어려운 유계 $\ell_\infty$ 섭동 조건 하에서 인코더 어텐션 목적 함수를 직접 최적화하는 최초의 공격을 도입합니다. 이는 눈에 띄는 패치를 통해 공격자 소유의 싱크 토큰(sink token)을 도입하는 대신, 모델 자체의 어텐션을 오염된 표적으로 유도합니다. 우리는 인코더 어텐션이 모델의 공간적 추론을 집중시키므로, 이를 오염시키면 검출 출력만을 교란하는 것보다 검출 파이프라인 전체에 걸쳐 더 파괴적으로 전파된다고 주장합니다. 본 공격은 COCO에서 DETR-R50의 mAP를 42.1에서 0.97로 낮추며, 동일한 섭동 예산 및 반복(iteration) 횟수 하에서 가장 강력한 기존 공격 대비 결과 mAP를 약 4배 감소시킵니다. 나아가 이러한 취약성이 특정 오염 목표에 국한되지 않음을 보입니다. 분산, 재순위화, 치환, 피크 억제라는 질적으로 서로 다른 네 가지 표적 전반에서 검출 성능이 일관되게 3 mAP 미만으로 떨어지며, 이는 취약점이 특정 단일 표적이 아니라 어텐션 구조 자체를 교란하는 데서 비롯됨을 시사합니다. 마지막으로, 본 공격이 다양한 어텐션 공식 전반에 일반화됨을 실증하여, 가장 강력한 기존 공격의 7.3 mAP 대비 DINO-Swin-L의 성능을 56.8에서 1.44 mAP로 감소시킴으로써 밀집(dense) 어텐션과 변형 가능(deformable) 어텐션 모두에서 최고 성능을 달성합니다.

원문 초록

Adversarial vulnerabilities remain a major concern for the safe deployment of neural networks, particularly in object detection, a core task embedded in many safety-critical systems. Detection transformers have emerged as leading object detectors, yet their adversarial robustness remains comparatively underexplored. Most existing attacks target the detection output rather than the attention mechanism that makes these models distinctive. In this paper, we introduce the first attack that directly optimizes an encoder-attention objective under an imperceptible, bounded $\ell_\infty$ perturbation. Rather than introducing an attacker-owned sink token through a visible patch, it drives the model's own attention toward a corrupted target. We argue that encoder attention concentrates the model's spatial reasoning, so corrupting it propagates through the detection pipeline more disruptively than perturbing the detection output alone. Our attack reduces DETR-R50 mAP on COCO from 42.1 to 0.97, a $\sim 4\times$ reduction in resulting mAP over the strongest existing attack under an identical perturbation budget and iteration count. We further show that this vulnerability is not specific to a particular corruption objective: across four qualitatively distinct targets, dispersion, re-ranking, permutation, and peak-suppression, detection consistently drops below 3 mAP, suggesting that the weakness arises from disrupting the attention structure itself rather than from any single target. Finally, we demonstrate that the attack generalizes across attention formulations, reducing DINO-Swin-L from 56.8 to 1.44 mAP against 7.3 for the strongest prior attack, establishing state-of-the-art on both dense and deformable attention.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.06674v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.