arXiv:2610.02869v1 cs.CR

AgentTrap: 자율 침투 테스트 에이전트에 대응하는 상태 기반 피드백 기만 기법

AgentTrap: Stateful Feedback Deception against Autonomous Penetration Testing Agents

Yuelin Wang, Jiongchi Yu, Yanbang Sun

제출 2026-10-02

저자 비고

arXiv Comments

4 pages

한국어 초록

자율 침투 테스트 에이전트(autonomous penetration testing agent)는 대상의 반응에 맞춰 계획과 행동을 지속적으로 적응시키며 다단계 공격을 수행합니다. 일반적인 방어 기법으로 허니팟(honeypot)을 배치하여 미끼 서비스를 제시함으로써 이러한 에이전트를 실제 자산으로부터 유인하는 동시에, 공격 추적 및 능동적 반격을 지원할 수 있습니다. 그러나 기존의 허니팟은 주로 정적 아티팩트와 사전 정의된 응답에 의존하므로, 자율 침투 테스트 에이전트의 진화하는 공격 전략에 적응하지 못합니다. 이를 위해 본 연구에서는 자율 침투 테스트 에이전트에 맞춤화된 최초의 폐루프(closed-loop) 허니팟인 AgentTrap을 제안합니다. AgentTrap은 정상적인 간섭을 피하기 위한 센티넬 엔드포인트(sentinel endpoint), 보호 대상 애플리케이션에 기반한(grounded) 상태 기반 기만, 제어된 정보 공개를 통해 교전을 지속하고 에이전트 측 행동 증거를 수집하는 행동 유도형 에스컬레이션을 사용합니다. 실제 애플리케이션 엔드포인트와 세 가지 방어 전략으로 구성된 별도의 허니팟 엔드포인트가 포함되어 배포된 웹 애플리케이션 환경에서, 8개의 자율 침투 테스트 에이전트를 대상으로 AgentTrap을 평가합니다. 방어가 없는 경우와 비교했을 때, AgentTrap은 실제 대상을 향한 총 공격 성공률을 95.8%에서 79.2%로 감소시키고 실행 중 18.8%에서 공격자의 API 키를 성공적으로 유도해 내어 정적 기만 및 고정된 에스컬레이션 방식보다 우수한 성능을 보였습니다. 나아가 추적 분석 결과, 이러한 역공격에 대한 저항력은 기만적 요청에 대한 모델(model) 수준의 인식과 민감한 자원의 아키텍처 수준 격리에 복합적으로 의존함을 보여줍니다.

원문 초록

Autonomous penetration testing agents conduct multi-step attacks by continuously adapting their plans and actions to target responses. As a common defense, honeypots can be deployed to divert these agents from real assets by presenting decoy services, while also supporting attack tracing and active counterattacks. However, conventional honeypots rely primarily on static artifacts and predefined responses, leaving them unable to adapt to the evolving attack strategies of autonomous penetration testing agents. To this end, we present AgentTrap, the first closed-loop honeypot tailored for autonomous penetration testing agents. AgentTrap uses sentinel endpoints to avoid benign interference, stateful deception grounded in the protected application, and behavior-guided escalation to sustain engagement and collect agent-side behavioral evidence with controlled disclosures. We evaluate AgentTrap against eight autonomous penetration-testing agents in a deployed web application containing a real application endpoint and a separate honeypot endpoint configured under three defense strategies. Compared with no defense, AgentTrap reduces the aggregate real-target attack success rate from 95.8% to 79.2% and successfully elicits attacker API keys in 18.8% of the runs, outperforming static deception and fixed escalation. Furthermore, trace analysis shows that resistance to such counterattacks depends jointly on model-level recognition of deceptive requests and architecture-level isolation of sensitive resources.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02869v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14006v1cs.CR공통 태그 Adversarial Robustness, penetration testing

AI 기반 시스템의 침투 테스트 재고: 자원 침해에서 행동 목표 위반으로

Rethinking Penetration Testing for AI-Enabled Systems: From Resource Compromise to Behavioral Objective Violation

전통적으로 침투 테스트는 공격자가 소프트웨어, 인프라, 구성 또는 운영 통제의 취약점을 악용하여 보안상 관련된 침해를 달성할 수 있는지를 평가한다. 이러한 패러다임은 AI 기반 시스템에 대해서도 여전히 필요하지만, 더 이상 충분하지 않다. 이러한 시스템에서 공격자는 프롬프트, 검색된 콘텐츠, 센서 입력, 학습 데이터, 메모리, 도구 또는 인간-AI 상호작용 루프에 영향을 미하여 기반 인프라를 직접 침해하지 않고도 시스템 행동을 변경할 수 있다. 본 논문은 AI 기반 시스템에 대한 침투 테스트를 목표 지향적 행동 평가(objective-driven behavioral evaluation)로 재정의한다. 학습된 모델이 운영 결과에 영향을 미치는 행동에 실질적으로 영향을 미치는 시스템을 AI 기반 시스템으로 정의하며, AI 기반 침투를 명시적 위협 모델 하에서 하나 이상의 운영 목표를 위반하는 AI 지배 행동의 실현 가능한 유도로 정의한다. 이 정의는 전통적 침투 테스트를 보존하면서 프롬프트 인젝션(prompt injection), 간접 프롬프트 인젝션(indirect prompt injection), 데이터 포이즈닝(data poisoning), 센서 조작, 검색 poisoning(retrieval poisoning), 도구 오용, 에이전트적 정렬 실패(agentic misalignment)와 같은 적대적 경로로 확장한다. 또한 운영 목표를 식별하고, AI 지배 행동을 매핑하며, 적대적 영향 표면(adversarial influence surfaces)을 분석하고, 행동 실패 기준을 정의하며, 시나리오 기반 테스트를 실행하고, 적대적 행동과 목표 위반 간의 연관성을 입증하는 증거를 보고하는 테스트 워크플로를 제안한다. AI 기반 보안 운영 센터(SOC) 어시스턴트를 예로 들어, 침투가 인프라 침해가 아닌 행동적 영향을 통해 어떻게 발생할 수 있는지 보여준다. 정의, 워크플로, 예시를 통합하여, 배포된 AI 기반 시스템에서 적대적 성공을 평가하기 위한 기술적 프레임워크를 제공한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.