arXiv:2610.00125v1 cs.CR

원픽셀 공격에 대한 종합적 고찰: 연구 현황, 분류 체계, 응용 분야, 규제 정책 및 향후 연구 방향

A Comprehensive Review of One-Pixel Attack: Research Status, Taxonomy, Applications, Regulation Policy and Future Directions

Mirza Niaz Morshed, Md. Masudul Islam, Galib Muhammad Shahriar Himel, Md. Aslam Uddin, Hui Liu, Md. Shafiqul Islam

제출 2026-09-09

한국어 초록

원픽셀 공격(One-Pixel Attack, OPA)은 단 하나의 픽셀을 수정하는 것만으로 의료 진단, 자율주행, 생체 인식, 양자 통신 등 다양한 도메인에서 높은 확신도의 오분류를 안정적으로 유도할 수 있어 심층 학습(deep learning)의 적대적 취약성을 보여주는 가장 극단적인 사례 중 하나입니다. 개념적 단순성에도 불구하고, 기존 적대적 공격 서베이 논문들은 단편적이거나 피상적인 수준으로만 다루어 OPA에 대한 심층적 검토가 여전히 부족했습니다. 본 PRISMA 지침 기반 고찰 연구는 2017년부터 2026년까지의 수준 높은 연구들을 종합하여 알고리즘적 기초, 블랙박스 진화 최적화(optimization), 최신 하이브리드 및 프로그램 합성 공격, 방어 메커니즘, 해석 가능성 도구, 도메인 특화 취약성에 걸친 통일된 다축 분류 체계를 제공합니다. 본 논문의 분석에 따르면 차분 진화(Differential Evolution) 기반 전략이 우세하고, 효율성 최적화 및 현저성(saliency) 유도 방식이 부상하고 있으며, 데이터셋(dataset) 다양성, 전이 가능성, 표준화된 평가 측면에서는 지속적인 한계가 존재함을 확인했습니다. 또한 픽셀 복원, 이상 탐지, 입력 공간 변환, 강건한 학습을 포함한 방어 패러다임을 요약 및 평가하여 강건성, 비인지성, 계산 오버헤드 간의 상충관계를 규명합니다. 이러한 통찰을 바탕으로 선택적 픽셀 복구, 트랜스포머(transformer) 특화 취약성 분석, 현저성 기반 최적화, 실제 환경의 도메인 적응형 방어를 포괄하는 향후 연구 우선순위를 제시합니다. 나아가 강건성 테스트, 사고 공개, AI 보안 거버넌스를 강조하는 규제 프레임워크를 제안합니다. 본 서베이는 현대 AI 시스템에서 초희소(ultra-sparse) 적대적 위협을 이해, 평가 및 완화하기 위한 종합적인 기반을 마련합니다.

원문 초록

One-Pixel Attacks (OPAs) represent one of the most extreme demonstrations of adversarial fragility in deep learning, where modifying a single pixel can reliably induce high-confidence misclassification across domains such as medical diagnosis, autonomous driving, biometrics, and quantum communication. Despite their conceptual simplicity, OPAs remain underexamined in existing adversarial-attack surveys, which provide only fragmented or cursory coverage. This PRISMA-guided review synthesizes high-quality studies from 2017 to 2026 and delivers a unified, multi-axis taxonomy of OPA research spanning algorithmic foundations, black-box evolutionary optimization, emerging hybrid and program-synthesis attacks, defence mechanisms, interpretability tools, and domain-specific vulnerabilities. Our analysis reveals the dominance of Differential Evolution-based strategies, the rise of efficiency-optimized and saliency-guided methods, and persistent gaps in dataset diversity, transferability, and standardized evaluation. We summarized and assess defence paradigms including pixel restoration, anomaly detection, input-space transformations, and robust training highlighting their trade-offs in robustness, imperceptibility, and computational overhead. Building on these insights, we outline future research priorities involving selective pixel recovery, transformer-specific vulnerability analysis, saliency-driven optimization, and real-world domain-adaptive defences. We further propose a regulatory framework emphasizing robustness testing, incident disclosure, and AI security governance. This review establishes a comprehensive foundation for understanding, evaluating, and mitigating ultra-sparse adversarial threats in contemporary AI systems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00125v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23894v1cs.CR공통 태그 Survey, Adversarial Attack, Adversarial Robustness

에이전틱 AI 보안의 연결 고리: 다차원 위협 분류 체계, 평가 성숙도 및 공개 도전 과제

Connecting the Dots in Agentic AI Security: A Cross-Dimensional Threat Taxonomy, Evaluation Maturity, and Open Challenges

에이전틱 AI(Agentic AI)는 대규모 언어 모델(LLM) 보안의 범위를 생성된 콘텐츠를 넘어 영구 상태(persistent state), 자율 행동, 도구 사용, 그리고 인간 및 타 에이전트와의 상호작용으로 확장합니다. 기존의 위협 분류는 대개 개별 차원을 강조하여 진입점, 영향을 받는 컴포넌트, 보안 결과 간의 연결 고리를 모호하게 만듭니다. 또한 알려진 위협 환경은 실증 연구에서 입증된 커버리지와 차이를 보입니다. 본 논문에서는 2022년부터 2026년까지 발표된 66편의 연구에 대한 체계적인 검토를 통해 영향을 받는 기능적 또는 시스템 표면 {S}, 상호작용 또는 신뢰 경계 {B}, 침해된 보안 속성 {P}, 실증적으로 검토된 아키텍처 {A}를 연결하는 다차원 표현 T={S, B, P, A}를 제안합니다. 또한 실증적 커버리지와 평가 성숙도를 규명하기 위해 아티팩트 기반 레드팀 테스팅(red-teaming) 연구 22편과 대표적인 보안 벤치마크(benchmark) 11개를 분석합니다. 선정된 연구 내에서 실증적 증거는 주로 단일 에이전트 환경의 프롬프트(prompt)/추론, 메모리 및 도구 매개 공격에 집중되어 있습니다. 영구성, 인간-에이전트(Human-Agent), 복잡한 멀티 에이전트, 시스템적, 장기적(long-horizon) 위협에 대한 연구 커버리지는 상대적으로 부족합니다. 이러한 발견은 전체 실증 연구 전반의 격차를 규정하기보다는 선정된 연구 코퍼스의 특성을 설명합니다. 이질적인 지표, 제한적인 적응형 방어 평가, 아키텍처적 불균형, 불완전한 실행 상태 캡처는 비교 및 재현성을 더욱 제약합니다. 마지막으로 에이전틱 AI의 보다 체계적이고 아키텍처를 인식하며 재현 가능한 보안 평가를 유도하기 위한 13가지 공개 연구 질문을 도출합니다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2610.03498v2cs.RO공통 태그 Adversarial Attack, Adversarial Robustness

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

arXiv:2609.30243v2cs.CL공통 태그 Adversarial Attack, Adversarial Robustness

JevOut: 자연스러운 문맥이 의사결정 모델을 뒤흔들 수 있다

JevOut: Natural Context Can Flip Decision Models

평범해 보이는 배경 정보 하나가 모델의 올바른 결정을 확신에 찬 실수로 바꿀 수 있습니다. 본 연구는 지식, 추론, 도구 라우팅(tool routing)을 다루는 7개 데이터셋에 걸쳐 Jev를 포함한 4개 의사결정 시스템에서 이러한 취약성을 입증합니다. 결정당 수용된 64회의 타깃 평가 내에서, 각 시스템의 초기에 올바랐던 결정 중 61.4%-73.2%를 사전에 정해둔 오답 선지로 유도하는 짧은 추가 문맥을 찾아냈습니다. 이러한 추가 문맥은 명시적인 정답 선택 지시 대신 배경 정보나 절차적 정보를 제공하며, 원래의 질문과 선택지는 그대로 유지합니다. 저자들은 자연스러움 및 정답 보존 제약 조건 하에서 선지 분포의 변화를 이용해 주변 텍스트를 개선하는 확률 기반 문맥 최적화(probability-guided context optimization)를 통해 이를 생성했습니다. 이러한 오도(redirection)는 초기에 확신도가 높았던 결정에도 영향을 미치며, 종종 확신도 높은 오답을 생성하고 모델 간에도 전이됩니다. 블라인드 인간 평가(blinded human evaluation)에서 표본 추출된 250개의 성공적인 문맥 중 91.6%는 독립적인 3명의 평가자 중 과반수에 의해 자연스럽고 정답을 보존하며 정답을 바꿀 만한 결정적 증거가 없다고 판단되었습니다. 본 연구 결과는 현재 의사결정 모델의 약점을 드러냅니다. 즉, 입력과 완전히 조화로워 보이는 문맥이 에이전트(agent), 라우터, 평가자가 의존하는 선택을 왜곡할 수 있습니다.

arXiv:2609.39607v2cs.CR공통 태그 Adversarial Attack, Adversarial Robustness

Pretext: AI 에이전트 악성 스킬 탐지 프레임워크 무력화

Pretext: Defeating Malicious Skill Detection Frameworks for AI Agents

스킬은 컨텍스트에 인스트럭션과 정보를 주입하여 에이전트(agent)의 기능을 확장하며, OpenClaw 및 Claude Code와 같은 에이전트에서 널리 활용되고 있습니다. 선행 연구에 따르면 서드파티 마켓플레이스에는 공격자가 피해자의 에이전트에 직접적인 영향력을 행사할 수 있도록 하는 악성 스킬이 호스팅되고 있습니다. 이에 대응해 등장한 방어 기법은 NVIDIA의 SkillSpector와 같이 결정론적 정적 검사와 대규모 언어 모델(LLM) 기반 시맨틱 판별기를 결합하여 설치 전에 스킬을 스캔합니다. 본 논문에서는 탐지기를 파악하고 있는 공격자에게 이러한 방어 기법이 무력화됨을 보여줍니다. 화이트박스 LLM 공격자인 Pretext는 정상적인 작업을 수행하고 페이로드를 전달하면서도 탐지를 회피하는 스킬을 반복적으로 생성합니다. 즉, 페이로드를 코드에서 자연어로 이전하여 정적 분석을 무력화하고, 이를 스킬의 정당한 목적으로 위장하며 인스트럭션을 여러 파일에 걸쳐 분할함으로써 LLM 단계의 차단 임계값 미만으로 유지합니다. 3개의 오픈소스 모델 전반에 걸쳐 Pretext는 고정된 탐지기와 상호 적응형(co-adaptive) 탐지기에 대해 각각 최대 97% 및 77%의 회피율을 달성하여, 현재 스킬 스캐너의 중대한 결함을 드러냅니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.