Opportunities and Challenges in Deep Learning Adversarial Robustness: A Survey
원문 초록
As we seek to deploy machine learning models beyond virtual and controlled domains, it is critical to analyze not only the accuracy or the fact that it works most of the time, but if such a model is truly robust and reliable. This paper studies strategies to implement adversary robustly trained algorithms towards guaranteeing safety in machine learning algorithms. We provide a taxonomy to classify adversarial attacks and defenses, formulate the Robust Optimization problem in a min-max setting and divide it into 3 subcategories, namely: Adversarial (re)Training, Regularization Approach, and Certified Defenses. We survey the most recent and important results in adversarial example generation, defense mechanisms with adversarial (re)Training as their main defense against perturbations. We also survey mothods that add regularization terms that change the behavior of the gradient, making it harder for attackers to achieve their objective. Alternatively, we've surveyed methods which formally derive certificates of robustness by exactly solving the optimization problem or by approximations using upper or lower bounds. In addition, we discuss the challenges faced by most of the recent algorithms presenting future research perspectives.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
원픽셀 공격에 대한 종합적 고찰: 연구 현황, 분류 체계, 응용 분야, 규제 정책 및 향후 연구 방향
A Comprehensive Review of One-Pixel Attack: Research Status, Taxonomy, Applications, Regulation Policy and Future Directions
원픽셀 공격(One-Pixel Attack, OPA)은 단 하나의 픽셀을 수정하는 것만으로 의료 진단, 자율주행, 생체 인식, 양자 통신 등 다양한 도메인에서 높은 확신도의 오분류를 안정적으로 유도할 수 있어 심층 학습(deep learning)의 적대적 취약성을 보여주는 가장 극단적인 사례 중 하나입니다. 개념적 단순성에도 불구하고, 기존 적대적 공격 서베이 논문들은 단편적이거나 피상적인 수준으로만 다루어 OPA에 대한 심층적 검토가 여전히 부족했습니다. 본 PRISMA 지침 기반 고찰 연구는 2017년부터 2026년까지의 수준 높은 연구들을 종합하여 알고리즘적 기초, 블랙박스 진화 최적화(optimization), 최신 하이브리드 및 프로그램 합성 공격, 방어 메커니즘, 해석 가능성 도구, 도메인 특화 취약성에 걸친 통일된 다축 분류 체계를 제공합니다. 본 논문의 분석에 따르면 차분 진화(Differential Evolution) 기반 전략이 우세하고, 효율성 최적화 및 현저성(saliency) 유도 방식이 부상하고 있으며, 데이터셋(dataset) 다양성, 전이 가능성, 표준화된 평가 측면에서는 지속적인 한계가 존재함을 확인했습니다. 또한 픽셀 복원, 이상 탐지, 입력 공간 변환, 강건한 학습을 포함한 방어 패러다임을 요약 및 평가하여 강건성, 비인지성, 계산 오버헤드 간의 상충관계를 규명합니다. 이러한 통찰을 바탕으로 선택적 픽셀 복구, 트랜스포머(transformer) 특화 취약성 분석, 현저성 기반 최적화, 실제 환경의 도메인 적응형 방어를 포괄하는 향후 연구 우선순위를 제시합니다. 나아가 강건성 테스트, 사고 공개, AI 보안 거버넌스를 강조하는 규제 프레임워크를 제안합니다. 본 서베이는 현대 AI 시스템에서 초희소(ultra-sparse) 적대적 위협을 이해, 평가 및 완화하기 위한 종합적인 기반을 마련합니다.
에이전틱 AI 보안의 연결 고리: 다차원 위협 분류 체계, 평가 성숙도 및 공개 도전 과제
Connecting the Dots in Agentic AI Security: A Cross-Dimensional Threat Taxonomy, Evaluation Maturity, and Open Challenges
에이전틱 AI(Agentic AI)는 대규모 언어 모델(LLM) 보안의 범위를 생성된 콘텐츠를 넘어 영구 상태(persistent state), 자율 행동, 도구 사용, 그리고 인간 및 타 에이전트와의 상호작용으로 확장합니다. 기존의 위협 분류는 대개 개별 차원을 강조하여 진입점, 영향을 받는 컴포넌트, 보안 결과 간의 연결 고리를 모호하게 만듭니다. 또한 알려진 위협 환경은 실증 연구에서 입증된 커버리지와 차이를 보입니다. 본 논문에서는 2022년부터 2026년까지 발표된 66편의 연구에 대한 체계적인 검토를 통해 영향을 받는 기능적 또는 시스템 표면 {S}, 상호작용 또는 신뢰 경계 {B}, 침해된 보안 속성 {P}, 실증적으로 검토된 아키텍처 {A}를 연결하는 다차원 표현 T={S, B, P, A}를 제안합니다. 또한 실증적 커버리지와 평가 성숙도를 규명하기 위해 아티팩트 기반 레드팀 테스팅(red-teaming) 연구 22편과 대표적인 보안 벤치마크(benchmark) 11개를 분석합니다. 선정된 연구 내에서 실증적 증거는 주로 단일 에이전트 환경의 프롬프트(prompt)/추론, 메모리 및 도구 매개 공격에 집중되어 있습니다. 영구성, 인간-에이전트(Human-Agent), 복잡한 멀티 에이전트, 시스템적, 장기적(long-horizon) 위협에 대한 연구 커버리지는 상대적으로 부족합니다. 이러한 발견은 전체 실증 연구 전반의 격차를 규정하기보다는 선정된 연구 코퍼스의 특성을 설명합니다. 이질적인 지표, 제한적인 적응형 방어 평가, 아키텍처적 불균형, 불완전한 실행 상태 캡처는 비교 및 재현성을 더욱 제약합니다. 마지막으로 에이전틱 AI의 보다 체계적이고 아키텍처를 인식하며 재현 가능한 보안 평가를 유도하기 위한 13가지 공개 연구 질문을 도출합니다.
Chronos 취약점: 에이전트형 AI에서의 시간적 지속성 및 메모리 기반 기만의 분류체계
The Chronos Vulnerability: A Taxonomy of Temporal Persistence and Memory-Based Deception in Agentic AI
인공지능에서 상태 비저장(stateless) 생성 모델에서 상태 저장(stateful) 자율 에이전트로의 전환은, 장기 계획 수립 능력과 기업 워크플로 자동화라는 역량을 제공하는 동시에 Chronos 취약점이라는 새로운 형태의 보안 위협을 도입하는 아키텍처적 진화를 나타낸다. Chronos 취약점은 메모리 주입 공격(MINJA)과 잠복 에이전트(sleeper agent) 등 메모리 기반 공격의 위협을 나타내며, 이 공격들에서는 자율 에이전트의 내부 신념 체계가 손상되어 공격 벡터가 최종적 치명적 사건과 효과적으로 분리된다. 본 연구는 지속성 기반 공격에 대한 위협 모델과 World of Workflows 벤치마크 맥락에서의 Dynamics Blindness 위협을 형식화하고, 기존 엔드포인트 콘텐츠 필터가 현재의 상태 저장 아키텍처에 불충분함을 보여준다. 이에 따라 본 연구는 심층 방어(defense-in-depth) 환경을 종합하여, 진단적 궤적 가드레일(AgentDoG), 형식적 시간적 검증(Agent-C), 면역학적 메모리 합의(A-MemGuard), GPU 기반 신뢰 실행 환경(TEE) 및 Zero-Trust 메모리 아키텍처를 통한 하드웨어 기반 신뢰와 같은 신흥 프레임워크를 분류한다.
사기 탐지 및 신뢰·안전 워크플로에서 LLM의 운영 증거 공백
Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows
LLM은 이제 사기 탐지, 스캠 조사, 콘텐츠 조정, 기타 신뢰·안전 워크플로에 제안되고 있다. 공개 문헌의 대부분은 여전히 LLM을 모델로 평가하며, 운영 파이프라인의 구성 요소로서의 행동에는 덜 주목한다. 이는 실무적인 증거 문제를 야기한다. 지연, 비용, 에스컬레이션, 인간 검토, 적대적 위험 제약을 갖는 실제 워크플로에 LLM을 배치하는 것을 무엇이 정당화할 수 있는가? 우리는 배포 증거에 대한 사기 우선 설문조사를 통해 이 질문에 답한다. 사기 탐지, 조사 지원, 콘텐츠 조정, 교차적 견고성(robustness)에서 LLM 사용과 관련된 운영상 관련 소스 49건(사기 18, 조정 14, 교차 17)을 코딩하고, 설문조사 범위를 설정하는 맥락 참고문헌 15건을 보완한다. 이 소스들에는 시스템, 벤치마크, 프레임워크, 배포 관련 설문조사가 포함되며, 49건의 프로덕션 배포는 아니다. 주요 발견은 증거 불균형이다. 사기 탐지가 코딩된 코퍼스에서 가장 큰 과제별 비중을 차지한다. 그러나 조정 논문들은 지연, 비용, 거버넌스, 공정성(fairness)에 대한 더 명시적인 공개 증거를 포함한다. 18건의 사기 및 조사 소스 중 어느 것도 깔끔한 의사결정당 지연, 의사결정당 달러 비용, 또는 보정(calibration) 증거를 보고하지 않으며, 대부분 오프라인 과제 성능, 검색(retrieval) 이득, 또는 사례 연구 정확도를 보고한다. 이 설문조사는 LLM을 분류기, 검색 인터페이스, 설명 생성기, 검토자 보조 도구, 에이전트(agent), 특징 추출기, 또는 에스컬레이션 구성 요소로 배치하기 위한 역할·증거 조직 프레임워크 FORTE를 제공한다. 또한 지연 예산, 의사결정당 비용, 의사결정 임계값, 설명 무결성, 적대적 압력을 다루는 최소 배포 증거 체크리스트를 제공한다. 그 결과로 도출된 연구 의제는 LLM 기반 사기 탐지 및 신뢰·안전 업무에 대한 배포 주장을 뒷받침하는 데 필요한 연구를 식별한다.
실전 환경에서 LLM 보안: 엣지의 프라이버시 및 보안 과제
Securing LLMs in the Wild: Privacy and Security Challenges at the Edge
대규모 언어 모델(LLM)은 연구 환경에서 빠르게 실전 환경으로 이동하고 있으며, 기업 인프라, 개인 기기, 엣지 플랫폼에 배포되고 있다. 클라우드 배포는 확장 가능한 컴퓨팅을 제공하지만, 데이터 주권, 규정 준수, 지연 시간, 제3자 의존에 대한 우려가 조직들을 엣지 및 온프레미스 LLM으로 이끌고 있다. 이러한 전환은 새로운 보안 및 프라이버시 과제를 야기한다. 제한된 연산 및 메모리는 양자화, 가지치기, 모델 분할, 매개변수 효율적 적응을 포함한 공격적인 최적화를 강요하며, 각각은 취약점을 도입하고 위협 환경을 재편할 수 있다. 우리는 이러한 긴장을 보안-효율성 역설(Security-Efficiency Paradox)로 설명한다. 즉, 효율성을 높이는 메커니즘이 견고성을 약화시키거나, 새로운 공격 표면을 노출하거나, 프라이버시 위험을 증가시킬 수 있다. 우리는 압축이 안전성 정렬(alignment)을 어떻게 저하시킬 수 있는지, 분할 추론이 재구성 공격을 어떻게 가능하게 하는지, 지속적인 로컬 적응이 프라이버시 누출과 모델 드리프트를 어떻게 유발할 수 있는지 검토한다. 이러한 위험을 분석하기 위해, 메모리 벽(Memory Wall), 이차 벽(Quadratic Wall), 연산 벽(Compute Wall)이라는 세 가지 아키텍처 제약을 중심으로 구성된 배포 중심 분류체계를 도입한다. 우리는 불안전한 최적화가 피할 수 없게 되는 시점을 정량화하는 통합 제약 모델을 도출하고, 각 벽을 특정 공격 표면에 연결한다. 이 모델을 바탕으로, 작업 정확도, jailbreak 저항, 프라이버시를 에너지, 메모리, 지연 시간과 균형 맞추는 전체론적 지표인 Secure Operational Efficiency Score(SOES)를 제안하여, 실제 하드웨어 한계 하에서 엣지 LLM을 구성할 수 있게 한다. 또한 각 최적화 유발 취약점에 대한 실용적 의사결정 절차와 표적 완화 방안을 제시한다. 이러한 기여를 종합하면, 보안, 프라이버시, 효율성을 공동 평가하기 위한 공동 설계 프레임워크를 제공하며, 엣지 네이티브 지능 시스템을 보호하기 위한 기반을 마련한다.
AI 기반 시스템의 침투 테스트 재고: 자원 침해에서 행동 목표 위반으로
Rethinking Penetration Testing for AI-Enabled Systems: From Resource Compromise to Behavioral Objective Violation
전통적으로 침투 테스트는 공격자가 소프트웨어, 인프라, 구성 또는 운영 통제의 취약점을 악용하여 보안상 관련된 침해를 달성할 수 있는지를 평가한다. 이러한 패러다임은 AI 기반 시스템에 대해서도 여전히 필요하지만, 더 이상 충분하지 않다. 이러한 시스템에서 공격자는 프롬프트, 검색된 콘텐츠, 센서 입력, 학습 데이터, 메모리, 도구 또는 인간-AI 상호작용 루프에 영향을 미하여 기반 인프라를 직접 침해하지 않고도 시스템 행동을 변경할 수 있다. 본 논문은 AI 기반 시스템에 대한 침투 테스트를 목표 지향적 행동 평가(objective-driven behavioral evaluation)로 재정의한다. 학습된 모델이 운영 결과에 영향을 미치는 행동에 실질적으로 영향을 미치는 시스템을 AI 기반 시스템으로 정의하며, AI 기반 침투를 명시적 위협 모델 하에서 하나 이상의 운영 목표를 위반하는 AI 지배 행동의 실현 가능한 유도로 정의한다. 이 정의는 전통적 침투 테스트를 보존하면서 프롬프트 인젝션(prompt injection), 간접 프롬프트 인젝션(indirect prompt injection), 데이터 포이즈닝(data poisoning), 센서 조작, 검색 poisoning(retrieval poisoning), 도구 오용, 에이전트적 정렬 실패(agentic misalignment)와 같은 적대적 경로로 확장한다. 또한 운영 목표를 식별하고, AI 지배 행동을 매핑하며, 적대적 영향 표면(adversarial influence surfaces)을 분석하고, 행동 실패 기준을 정의하며, 시나리오 기반 테스트를 실행하고, 적대적 행동과 목표 위반 간의 연관성을 입증하는 증거를 보고하는 테스트 워크플로를 제안한다. AI 기반 보안 운영 센터(SOC) 어시스턴트를 예로 들어, 침투가 인프라 침해가 아닌 행동적 영향을 통해 어떻게 발생할 수 있는지 보여준다. 정의, 워크플로, 예시를 통합하여, 배포된 AI 기반 시스템에서 적대적 성공을 평가하기 위한 기술적 프레임워크를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.