ChainWatch: MCP 기반 AI 에이전트 시스템의 다단계 공격을 위한 킬 체인 정렬 순차 탐지 프레임워크
ChainWatch: A Kill Chain-Aligned Sequential Detection Framework for Multi-Step Attacks in MCP-Based AI Agent Systems
한국어 초록
Model Context Protocol(MCP)는 AI 에이전트가 외부 도구, 데이터베이스, 서비스에 연결할 수 있게 하는 오픈소스 표준이다. 이러한 연결성은 강력한 에이전트 기능을 가능하게 하지만, 기존의 호출 단위(per-call) 방어 체계로는 신뢰성 있게 탐지할 수 없는 다단계 공격도 함께 유발한다. 공격자는 개별적으로는 무해한 도구 호출들을 조합하여, 독립된 검사를 우회하는 악성 시퀀스를 구성할 수 있다. 본 논문은 MCP 기반 AI 에이전트 시스템에서 다단계 공격을 식별하기 위한 순차 탐지 프레임워크인 ChainWatch를 제시한다. ChainWatch는 6단계 킬 체인을 사용해 공격 진행을 모델링하고, 도구 호출 시퀀스를 분류하기 위해 은닉 마르코프 모델(HMM)을 적용한다. 세션이 여러 단계에 걸쳐 의심스러운 진행을 보일 때 탐지 규칙이 트리거된다. 이 프레임워크는 직접적 순차 공격, 간접 프롬프트 주입 체인, 하이브리드 다단계 공격을 포괄하는 구조화된 위협 모델을 기반으로 한다. 20차원 특징 추출 스키마가 도구 상호작용으로부터 행동 신호를 포착한다. 보안 문헌의 5가지 대표적 공격 시나리오를 사용해 이 접근법을 시연하며, ChainWatch가 기존 호출 단위 보안 메커니즘을 우회하는 공격 체인을 어떻게 탐지하는지 보여준다.
원문 초록
The Model Context Protocol (MCP) is an open-source standard that allows AI agents to connect to external tools, databases, and services. While this connectivity enables powerful agent capabilities, it also introduces multi-step attacks that existing per-call defenses cannot reliably detect. Attackers can compose individually benign tool invocations into malicious sequences that evade isolated inspection. This paper presents ChainWatch, a sequential detection framework for identifying multi-step attacks in MCP-based AI agent systems. ChainWatch models attack progression using a six-stage kill chain and applies a Hidden Markov Model (HMM) to classify tool-call sequences. Detection rules are triggered when a session exhibits suspicious progression across multiple stages. The framework is supported by a structured threat model covering direct sequential attacks, indirect prompt injection chains, and hybrid multi-stage attacks. A 20-dimensional feature extraction schema captures behavioral signals from tool interactions. We demonstrate the approach using five representative attack scenarios from the security literature, showing how ChainWatch detects attack chains that evade traditional per-call security mechanisms.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.19432v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PACE: 도구를 사용하는 LLM 에이전트를 위한 출처 인지 역량 강제
PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents
도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 생성된 텍스트를 실제 부작용(side effect)으로 전환하므로, 오염된 도구 메타데이터, 검색된 페이지, 메모리 및 재사용 가능한 스킬이 다음 도구 호출을 유도할 수 있습니다. 승인(admission) 전에 아티팩트를 검증하는 것만으로는 이 문제를 해결하지 못합니다. 안전한 변형과 유출 변형이 동일한 승인 증거를 생성할 수 있어, 건전한 게이트라도 둘 중 어느 쪽에 대해서도 해당 지점의 검사를 완화할 수 없습니다. 본 연구에서는 이러한 조건을 정밀하게 정의하여, 배포 환경에서 여전히 조치를 취할 수 있는 마지막 경계를 남깁니다. 본 논문에서는 모든 도구 호출이 실행되기 직전에 이를 중재하는 출처 인지 역량 강제(PACE, Provenance-Aware Capability Enforcement)를 제안합니다. 경로 제한(Path confinement)은 표현된 영향 경로의 실행 가능한 컷을 제안하며, 역량 및 효과 검증은 인증된 요청으로부터 컴파일된 권한과 스키마에 정의된 효과를 대조하여 확인합니다. 제안된 차단 이후 인가된 호출을 복원하거나 선언된 복구를 적용할 수 있는 평가 구성과 인증된 실행 계약을 구분합니다. 제한 메커니즘은 최종 동작이 인증된 컷을 보존하도록 요구합니다. 3개 타깃 모델 군을 사용한 8개의 실행 가능한 에이전트 보안 벤치마크에서, 평가 구성은 적격 공격 항목 79개 중 62개에서 완전히 가장 낮은 공격 성공률을 기록했고 14개에서 동률을 달성했습니다. 전체 벤치마크 고유 유용성(native utility)은 방어되지 않은 에이전트 대비 최대 3포인트만 손실되었습니다. 1,167개 쌍체 사례에 대한 완전한 어블레이션 분석 결과, 대부분의 보안 향상은 효과 검증에, 거절 제어는 경계 적응에 기인하는 것으로 나타났습니다. 축소된 규모의 적응형 탐색 결과, 방어 체계에 맞선 권한 외(out-of-authority) 타깃 30개 중 0개에서만 성공했습니다.
스킬 체이닝을 통한 LLM 에이전트 하이재킹
Chaining Skills to Hijack LLM Agents
대규모 언어 모델(LLM) 에이전트는 특화된 작업의 성능을 향상하기 위해 스킬(skill)을 활용합니다. 에이전트는 사용자의 요청을 완료하기 위해 여러 스킬을 순차적으로 호출할 수 있으며, 이로 인해 한 스킬에서 생성된 정보가 다음 스킬을 안내하게 됩니다. 스킬은 오픈소스 저장소에서 가져올 수 있으므로, 이러한 정보 전달 과정에서 공격자가 제어하는 주장이 이후의 결정으로 이어질 수도 있습니다. 본 논문에서는 사용자 작업 및 공격자가 선택한 작업에 맞춰 적대적 스킬 체인을 구축하고 정제하는 APEX를 소개합니다. 핵심 통찰은 실제 작업 진행 상황에 대해 에이전트가 작성한 기록이 여러 스킬에 걸쳐 사용자 승인에 대한 거짓 주장을 전달할 수 있다는 점입니다. 즉, 상류(upstream) 스킬이 에이전트로 하여금 해당 기록을 생성하도록 유도하고, 하류(downstream) 스킬은 이를 활용하여 공격자가 선택한 작업을 지시합니다. SkillsBench의 4가지 표적 행동군과 6개 모델에 걸쳐 평가한 결과, 이러한 체인은 690회 시도 중 512회(74.2%)에서 선택된 작업을 유도했습니다. GPT-5.4의 경우, 전체 체인은 워크플로가 단일 스킬로 병합되었을 때의 17.4%와 비교하여 84.3%의 시도에서 성공했습니다. 나아가 스킬이 생성한 파일을 원본 요청과 대조하여 확인하도록 에이전트에게 요청하는 프롬프트 기반 방어 기법을 평가했습니다. GPT-5.4에서 이 방어는 표적 행동 성공률을 84.3%에서 59.1%로 낮추었으나, 72개의 정상 네이티브 스킬 작업에 대한 검증기 테스트 통과율 또한 86.7%에서 56.3%로 떨어졌습니다. 이러한 결과는 정당한 작업 성능을 보존하면서도 공격자가 지시한 작업을 방지하는 방어책의 필요성을 강조합니다.
Ajar: Measuring Open Privilege in Agent Defenses
전체적 프레임워크를 통한 에이전트 보안의 재정의
Agent Security Needs Redefinition through a Holistic Framework
에이전트 보안은 널리 행동 내용에 관한 문제로 다루어진다. 방어 기법은 지시가 악의적으로 보이는지를 묻고, 벤치마크는 에이전트가 해로운 것처럼 들리는 행동을 수행하는지를 묻는다. 우리는 에이전트 보안이 근본적으로 문맥적 문제이며, 현재의 내용 기반 프레이밍이 이를 체계적으로 잘못 정의한다고 주장한다. 「사용자 데이터 삭제」 명령은 일상적인 관리 요청일 수도 있고, 프로덕션 시스템을 공격하는 프롬프트 주입(prompt injection)일 수도 있으며, 내용만으로는 둘을 구분할 수 없다. 권한 부여(authorization) 문맥은 구분할 수 있다. AgentDojo와 WASP의 모든 주입 과제에서 동일한 행동은 인증된 사용자가 일상적인 워크플로에서 그럴듯하게 요청할 수 있는 것이며, 이는 내용을 통해 보안을 평가할 때 혼동이 구조적 속성이 됨을 만든다. 우리는 에이전트의 궤적(trajectory) 전반에 걸쳐 공동으로 성립해야 하고 지속적으로 평가되어야 하는 네 가지 속성을 통해 문맥적 보안을 운영화한다. 소스 권한 부여(Source Authorization)는 누가 명령을 발행했는지를 묻는다. 과제 정렬(Task Alignment)은 에이전트의 승인된 목표를 명시한다. 행동 정렬(Action Alignment)은 각 행동이 그 목표에 부합하는지를 평가한다. 데이터 격리(Data Isolation)는 권한 경계를 넘는 정보 흐름을 관리한다. 이러한 재프레이밍 하에서 간접 프롬프트 주입(indirect prompt injection)은 소스 권한 부여 위반이 된다. 스냅샷 벤치마크는 데이터 격리를 평가하는 데 구조적으로 능력이 없다. 기존 방어 기법은 실제로 근사하는 속성을 중심으로 재구성된다. 문맥적 재프레이밍은 어떤 방어 기법이 일관성 있는지, 어떤 평가가 유용한 것을 측정하는지, 그리고 평가가 어떤 공격 패턴을 전혀 볼 수 있는지를 바꾼다.
CrackedPDFs: PDF에서의 숨겨진 프롬프트 주입을 위한 통제된 벤치마크
CrackedPDFs: A Controlled Benchmark for Hidden Prompt Injection in PDFs
문서 기반 LLM 시스템은 가드레일이 검사하기 전에 PDF를 종종 평탄화한다. 이 단계는 사용자에게 한 번도 보이지 않았던 지시가 있었다는 증거를 버릴 수 있다. 우리는 PDF에서의 숨겨진 프롬프트 주입을 위한 통제된 벤치마크인 CrackedPDFs를 소개한다. 이 벤치마크는 4,983개의 기본 문서로부터 생성된 29,322개의 PDF를 포함한다. 여기에는 9,774개의 주입 파일과 19,548개의 양성 또는 짝지어진 대조군 파일이 포함된다. PromptGuard와 규칙 기준선을 평가한다. 또한 구조만 학습한 모델과 정화된 하이브리드 탐지기도 평가한다. 평가는 홀드아웃 출처 분할과 짝지어진 양성-대조군 대조를 사용한다. 또한 레이블 셔플 검사와 지름길 감사도 사용한다. 2,919개 문서로 구성된 홀드아웃 테스트 세트에서 하이브리드 탐지기는 F1 0.960을 달성한다. ROC-AUC는 0.998이고 PR-AUC는 0.997이다. 또한 973개 짝 중 95.9%에서 주입 파일을 짝지어진 양성 대조군보다 상위로 순위 매긴다. PromptGuard는 추출된 텍스트만 주어졌을 때 재현율이 낮다. 구조만 학습한 모델은 짝지어진 대조 하에서 약하다. 텍스트만 사용한 TF-IDF 모델은 홀드아웃 점수에서 완벽하지만 지름길 감사를 통과하지 못한다. 이러한 결과는 통제된 짝 평가 하에서 문서 인식 하이브리드 탐지가 유용함을 보여준다. 광범위한 실세계 견고성이나 신뢰할 수 있는 교차 계열 일반화를 보여주지는 않는다.
Know Your Agent: 정찰 기반 AI 에이전트 침투 테스트
Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents
전통적인 침투 테스트는 각 단계에서 정찰을 통해 드러나지 않은 약점을 발견하고, 더 강력한 공격을 구축하며, 목표 달성을 앞당긴다. 우리는 AI 에이전트에도 동일한 대우가 필요하다고 주장한다. 우리는 에이전트 정찰을 프로세스를 모델링하고, 추출 대상 지식 자산이 무엇인지, 어떻게 사용되는지, 그리고 간접 프롬프트 주입 공격에서 적대자에게 어떤 에이전트 약점을 이용해 우위를 제공하는지를 밝힘으로써 형식화한다. 이러한 통찰을 Know Your Agent(KYA) 프레임워크에 구현했다. KYA는 에이전트를 탐색하고, 대상 프로필을 구축하며, 해당 프로필을 활용해 더 강력한 공격을 설계함으로써 블랙박스 정찰 기반 침투 테스트를 자동화한다. 우리는 에이전트 보안 벤치마크와 실제 코딩 에이전트에서 KYA를 평가했으며, 재현성을 위해 KYA, 해당 벤치마크, 기준선 구현을 공개한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.