arXiv:2606.17540v1 cs.CV

TaFD: Threat-Aware Frequency Decoupling for Adversarial Robustness against Heterogeneous Attacks

Mengda Xie, Yiling He, Meie Fang

제출 2026-06-16

한국어 초록

다중 위협 강건성은 심층 학습(deep learning)에서 여전히 근본적인 과제로 남아 있습니다. 결합 적대적 학습(JAT)이 널리 채택되었지만, 특히 $\ell_p$-제한 공격과 의미론적 공격 사이의 이질적 위협 하에서 네거티브 전이(negative transfer) 문제를 겪습니다. 1차 그래디언트(gradient) 분석을 통해 이를 그래디언트 비호환성으로 공식화하고, 분리된 최적화의 필요성을 이론적으로 확립합니다. 또한 이러한 충돌하는 위협들이 주파수 영역에서 분리 가능한 스펙트럼 특성을 나타냄을 밝혀냅니다. 이 관찰에 착안하여, 우리는 JAT를 주파수 영역 분할 정복(divide-and-conquer) 패러다임으로 재구성하는 2단계 방어 프레임워크인 위협 인지 주파수 분리(TaFD)를 제안합니다. TaFD는 먼저 공격 스펙트럼 프로토타입의 비지도 군집화를 통해 잠재적 위협 도메인을 발견하고, 추론(inference) 시간 위협 도메인 식별을 위해 경량 분류기를 학습(training)합니다. 이 예측에 조건화되어, TaFD는 위협 도메인 특정 스펙트럼 마스크를 학습하고 각 샘플을 해당 전문가로 라우팅하는 주파수 조건부 합성곱(Frequency-Conditional Convolution)을 사용하여, 구조적 매개변수(parameter) 분리를 강제하고 최적화 충돌을 완화합니다. 우리는 세 가지 대표적인 이미지 분류(classification) 벤치마크(CIFAR-10, CIFAR-100, Tiny-ImageNet)와 두 가지 대표적인 아키텍처(합성곱(convolution) ResNet 및 하이브리드 트랜스포머(transformer) MobileViT)에서 TaFD를 검증합니다. 광범위한 결과는 TaFD가 기존 JAT 및 주파수 영역 기준선(baseline)보다 이질적 공격에 대해 더 균형 잡힌 강건성을 달성함을 보여주며, 최상의 기준선보다 평균 강건 정확도를 약 11% 향상시키면서도 최고 수준의 깨끗한 정확도(clean accuracy)를 유지합니다.

원문 초록

Multi-threat robustness remains a fundamental challenge in deep learning. Although joint adversarial training (JAT) is widely adopted, it suffers from negative transfer under heterogeneous threats, particularly between $\ell_p$-bounded and semantic attacks. Through first-order gradient analysis, we formalize this as gradient incompatibility and theoretically establish the necessity of decoupled optimization. We further reveal that these conflicting threats exhibit separable spectral characteristics in the frequency domain. Motivated by this observation, we propose Threat-aware Frequency Decoupling (TaFD), a two-stage defense framework that reformulates JAT as a frequency-domain divide-and-conquer paradigm. TaFD first discovers latent threat domains via unsupervised clustering of attack spectral prototypes and trains a lightweight classifier for inference-time threat domain identification. Conditioned on the prediction, TaFD employs a Frequency-Conditional Convolution that learns threat-domain-specific spectral masks and routes each sample to the corresponding expert, enforcing structural parameter separation and alleviating optimization conflicts. We validate TaFD on three representative image-classification benchmarks (CIFAR-10, CIFAR-100, and Tiny-ImageNet) and on two representative architectures (the convolutional ResNet and the hybrid-transformer MobileViT). Extensive results demonstrate that TaFD achieves more balanced robustness against heterogeneous attacks than existing JAT and frequency-domain baselines, improving average robust accuracy by approximately 11\% over the strongest baseline while maintaining leading clean accuracy.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17540v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness, adversarial training

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2609.23596v1cs.CV공통 태그 Adversarial Attack, Adversarial Robustness, adversarial training

StyleAT: 의미론적 공격에 대한 얼굴 인식 방어

StyleAT: Defending Face Recognition Against Semantic Attacks

얼굴 인식 모델이 일상적인 인증 및 감시에 널리 쓰이면서, 최근 연구들은 이러한 모델의 한 가지 중요한 약점을 지적했다: 이 모델들은 적대적 의미론적 편집(adversarial semantic edits)에 여전히 매우 취약하다는 것이다. 즉, 입력에 대한 적대적으로 생성된 의미론적 변화(예: 약간의 노화나 자세 변화)가 오분류를 유발할 수 있다. 기존의 일부 공격은 강력하지만 계산 비용이 커서 방어(예: 적대적 학습을 통한) 개발에는 부적합하다. 이 공백을 메우기 위해, 우리는 StyleGAN의 풍부한 잠재 공간(latent space)에서 동작하여 오분류율을 극대화하는 강력한 의미론적 공격 BoundStyle을 제안한다. 특히 BoundStyle은 기존 최첨단 공격 대비 ${\sim}{\times}9.5$배 빠르면서도 높은 공격 성공률을 달성하여, 적대적 학습에 적합하다. BoundStyle을 기반으로, 저비용 공격 변형을 포함하면서도 더 강하고 보지 못한(unseen) 의미론적 공격에 대비하는 효율적인 적대적 학습 방식 StyleAT를 개발한다. 학습 과정에서 보지 못한 두 데이터셋과 일곱 개 모델에서 평가한 결과, StyleAT는 최첨단 공격에 대한 견고 정확도(robust accuracy)를 높이며 다양한 설정에서 일반적인 방어 기법을 능가한다.

arXiv:2610.03498v2cs.RO공통 태그 Adversarial Attack, Adversarial Robustness

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

arXiv:2610.13720v1cs.CV공통 태그 Mixture-of-Experts, Clustering

수중 이미지 향상을 위한 업데이트 경향성 라우팅 기반 상태 격리 Vision Mamba

State-Isolated Vision Mamba via Update-Tendency Routing for Underwater Image Enhancement

Vision Mamba는 순환적 상태 진화(recurrent state evolution)를 통해 장거리 공간적 의존성을 모델링함으로써 컨볼루션 및 트랜스포머(Transformer) 기반 아키텍처의 효율적인 대안으로 최근 부상하고 있다. 기존 연구들은 주로 토큰 직렬화(token serialization), 스캐닝 전략, 또는 전문가 라우팅(expert routing)을 개선하는 데 초점을 맞추었으나, 공간적으로 이질적인 시각적 복원을 위해 순환 상태(recurrent state)를 어떻게 조직해야 하는가라는 상태 수준의 질문은 대체로 간과해왔다. 본 논문에서는 서로 다른 업데이트 양상을 가진 토큰들이 공유된 은닉 상태(hidden state)를 반복적으로 수정하도록 강제할 경우 지속적인 콘텐츠 간 간섭이 발생함을 보이며, 이를 상태 경쟁(State Contention)이라 명명한다. 더 나아가 효과적인 순환 모델링은 토큰 순서가 아닌 토큰 호환성에 따라 상태 진화를 조직해야 한다고 주장한다. 이러한 관찰에 기반하여, Vision Mamba를 위한 새로운 순환 상태 조직 원리인 상태 격리(State Isolation)를 제안한다. 이 원리에 따르면 상태 업데이트 경향성(state-update tendency)이 호환되는 토큰들은 독립적인 순환 상태 흐름 내에서 진화한다. 이 원리를 구현하기 위해, 모델 고유의 업데이트 표현을 구성하고, 레이블 없는 클러스터링(label-free clustering)을 통해 업데이트 호환 가능한 토큰 그룹을 발견하며, 클러스터-라우트-격리(cluster--route--isolate) 패러다임에 따라 이를 격리된 Mamba 전문가(expert)들에게 라우팅하는 Δ-가이드 아키텍처인 IsoMamba를 제안한다. 또한 수중 이미지에서 파장에 따라 달라지는 복원 난이도를 보완하기 위한 동적 채널별 재가중(dynamic channel-wise reweighting) 목적함수를 개발한다. 광범위한 실험을 통해 IsoMamba가 여러 수중 이미지 향상(underwater image enhancement) 벤치마크에서 일관되게 최신 기술 수준(state-of-the-art)의 성능을 달성하면서도 더 깨끗한 은닉 상태 응답을 제공함을 입증하며, 이는 상태가 격리된 순환 모델링의 효과를 검증한다.

arXiv:2609.30243v2cs.CL공통 태그 Adversarial Attack, Adversarial Robustness

JevOut: 자연스러운 문맥이 의사결정 모델을 뒤흔들 수 있다

JevOut: Natural Context Can Flip Decision Models

평범해 보이는 배경 정보 하나가 모델의 올바른 결정을 확신에 찬 실수로 바꿀 수 있습니다. 본 연구는 지식, 추론, 도구 라우팅(tool routing)을 다루는 7개 데이터셋에 걸쳐 Jev를 포함한 4개 의사결정 시스템에서 이러한 취약성을 입증합니다. 결정당 수용된 64회의 타깃 평가 내에서, 각 시스템의 초기에 올바랐던 결정 중 61.4%-73.2%를 사전에 정해둔 오답 선지로 유도하는 짧은 추가 문맥을 찾아냈습니다. 이러한 추가 문맥은 명시적인 정답 선택 지시 대신 배경 정보나 절차적 정보를 제공하며, 원래의 질문과 선택지는 그대로 유지합니다. 저자들은 자연스러움 및 정답 보존 제약 조건 하에서 선지 분포의 변화를 이용해 주변 텍스트를 개선하는 확률 기반 문맥 최적화(probability-guided context optimization)를 통해 이를 생성했습니다. 이러한 오도(redirection)는 초기에 확신도가 높았던 결정에도 영향을 미치며, 종종 확신도 높은 오답을 생성하고 모델 간에도 전이됩니다. 블라인드 인간 평가(blinded human evaluation)에서 표본 추출된 250개의 성공적인 문맥 중 91.6%는 독립적인 3명의 평가자 중 과반수에 의해 자연스럽고 정답을 보존하며 정답을 바꿀 만한 결정적 증거가 없다고 판단되었습니다. 본 연구 결과는 현재 의사결정 모델의 약점을 드러냅니다. 즉, 입력과 완전히 조화로워 보이는 문맥이 에이전트(agent), 라우터, 평가자가 의존하는 선택을 왜곡할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.