Prismata는 웹 에이전트를 대상으로 한 크로스사이트 프롬프트 인젝션(Cross-Site Prompting, XSP) 공격을 방어하기 위해, 페이지 DOM 구조의 크리티컬 패스(critical path)에서 신뢰 레이블을 동적으로 도출하고 Biba 무결성 모델에서 영감받은 구조적 제한을 적용하는 맥락적 최소 권한(contextual least privilege) 방어 시스템이다. 개발자 어노테이션 없이 WebArena 환경 실험에서 공격 성공률을 85.5%에서 0.7%로 낮추면서 정상 작업 성공률은 29.9%에서 26.6%로 소폭만 감소시켰다.
AI 코딩 에이전트의 실행 보안(execution security) 연구가 샌드박스 격리, 접근 제어, TOCTOU, MCP 위협 등 분야별로 파편화된 문제를 해결하고자, 2023~2026년 발표된 39편의 논문을 17개 범주로 체계화하고 4건의 실제 CVE를 직접 검증하였다. 범주 간 교차 분석을 통해 격리 아키텍처와 역량 모델의 비교 평가 부재, 정책 집행 실패율 미반영, TOCTOU·MCP 위협의 어휘 분리 등 5가지 공통 결함을 도출하고 이를 해결하기 위한 연구 어젠다를 제시한다.
AI 에이전트가 검증할 수 없는 텍스트를 기반으로 툴 호출을 수행해 프롬프트 인젝션(prompt injection) 공격에 취약하다는 문제를 해결하기 위해, 에이전트 호스트 외부에 인가(authorization) 게이트웨이를 두어 메시지별 HMAC-SHA256 서명으로 호출자 신원을 검증하고 에이전트가 접근·수정할 수 없는 역할 기반 정책을 적용하는 aiAuthZ를 제안한다. 15개 언어 모델을 대상으로 한 평가에서 게이트웨이 적용 후 잔여 공격 성공률이 0%로 감소했으며, AgentDojo 벤치마크와 실제 사고 코퍼스 사례 연구에서도 기존 기준선 대비 월등한 차단 성능을 0.03ms 이하의 결정 지연으로 달성했다.
코딩 에이전트가 하위 목표에만 필요한 자원 권한을 태스크 전체에 걸쳐 불필요하게 유지하는 "잔류 권한(lingering authority)" 문제를 다루며, 참조 모니터 PORTICO를 통해 요청-허가-호출 생명주기 기반의 취소 가능한 역량 관리 메커니즘을 제안한다. 실험 결과 PORTICO는 클로저 이후 금지된 효과의 재사용 시도를 10/10 차단하고 금지 효과 실행을 0/6으로 기록한 반면, 비취소 비교기는 각각 10/10 허용 및 6/6 실행을 허용했다.
딥 리서치 에이전트(deep research agents)는 개방형 쿼리를 서브태스크로 분해하고, 여러 라운드에 걸쳐 웹 증거를 검색하며, 장문의 보고서를 합성한다. 이 워크플로우는 계획 층(planning-layer) 포이즈닝 표면을 만들어 낸다: 검색 풀에 유입된 적대적 문서가 후속 질문을 유도하고, 로컬 주입을 보고서 수준의 오염으로 확대할 수 있다. 우리는 서브태스크 계획을 하이재킹하기 위해 문서 내 추론 조작(intra-document reasoning fabrication)과 문서 간 체인 조율(inter-document chain coordination)을 결합한 2단계 공격인 FORGE(Fabricated Orchestrated Reasoning chain for aGent Exploitation)를 제시한다. 아울러 감염된 보고서의 주장을 인지 유형별로 가중치를 부여하여 측정하는 PRISM 지표와, 재귀적 후속 질문 생성을 루트 쿼리에 연결하는 경량 방어 기법인 루트 쿼리 앵커링(Root Query Anchoring, RQA)을 제안한다. 25개의 쿼리 실험에서 Network FORGE는 5개의 주입 문서로 PRISM 26.4%를 달성하며 깊이 이동(depth migration) 현상을 보인다. 이는 재귀적 합성 과정에서 오염된 콘텐츠가 명시적 프레이밍에서 사실적 전제로 이동하는 현상이다. 10개 쿼리로 구성된 방어 서브셋에서 RQA는 PRISM을 38.5%에서 18.3%로 감소시킨다.
정적 챗봇에서 지속적 메모리, 도구 사용 프로토콜, 다중 에이전트 협업을 갖춘 자율 에이전트로의 전환은 AI 위협 지형을 근본적으로 확장했다. 경계 보안(perimeter security)과 학습 시점 정렬(alignment)과 같은 현재의 방어 메커니즘은 에이전트의 능동적 추론 루프 외부에 머물러 있다. 따라서 이들은 부족하다: 완전히 정렬된 에이전트조차도 메모리 포이즈닝(memory poisoning), 도구 체인 조작, 또는 다중 에이전트 프로토콜 공격을 통한 런타임 하이재킹에 매우 취약하다. 이 핵심 공백을 해소하기 위해, 우리는 에이전트의 인지 루프 내부에 직접 내재된 최초의 생물학적 영감을 받은 내인성(endogenous) 방어 아키텍처인 Agent-Native Immune System(ANIS)을 제안한다. 우리 프레임워크는 네 가지 주요 기여를 제시한다. 첫째, 6층 Immune Tower(L0-L5)를 설계하며, Barrier Immunity(L1)를 비인지적, 물리-논리적 격리 층으로 명확히 통합한다. 둘째, Agent Viruses와 Agent Vaccines에 대한 통합 분류체계를 확립하고, 피상적인 비파라미터(non-parametric) 방어와 견고한 파라미터(parametric) 백신 간의 핵심적 구분을 형식화한다. 셋째, Harness Triad(Meta, Self, Auto)를 개념화한다—이는 지속적 면역 학습(Continual Immune Learning, CIL)을 구동하는 자기 모니터링, 메타인지적 자동화 백본으로, 백신이 새로운 위협에 동적으로 적응할 수 있게 한다. 마지막으로, 모델 정렬과 에이전트 면역 사이의 엄밀한 이론적 경계를 확립한다: 정렬은 학습 중 정적인 "헌법적" 가치 기반을 제공하는 반면, ANIS는 런타임 중 동적인 "법 집행" 메커니즘 역할을 한다. 마지막으로 면역 프로토콜 표준화, Autoimmunity Rate(거짓 양성 개입률)와 같은 새로운 평가 지표, 집합 지능(collective intelligence) 생태계 내 병원체와 백신 간의 공진화(co-evolutionary) 역학 등 분야의 열린 과제를 제시하며 마무리한다.
은닉 상태 프로빙(Hidden-state probing)—동결된 비전-언어 모델의 내부 활성화에 적용한 선형 분류기—은 멀티모달 컴퓨터 사용 에이전트에서 에이전트가 손상된 동작을 출력하기 전에 간접 프롬프트 주입(IPI)을 표시하는 매력적인 평가 도구로 부상했다. 단일 백본 주의 사례 연구(Qwen2.5-VL-7B on Mind2Web, teacher-forced replay)를 통해, 우리는 clean-vs-attack 분할에서 높은 프로빙 AUC만으로는 그 자체로 악성 콘텐츠 탐지의 증거가 되지 않는다고 주장한다. 두 가지 사후 진단—텍스트 측 주입에 대한 paired-construction 스칼라 기준선과 오버레이 표면에서 same-step nuisance-matched 시각적 통제—은 부분적으로 의미론적인 해석의 여지를 남기면서도, 주요 보고 결과를 무조건적으로 악성 콘텐츠로 해석하는 것을 정당화하지 않는다. 우리는 이러한 진단을 후보 통제 집합으로 정리하고, 높은 clean-vs-attack AUC가 무엇을 정당화하고 무엇을 정당화하지 않는지에 대한 보고 휴리스틱을 함께 제시한다. 레이블은 공격 성공이 아니라 주입 표면 존재(injection-surface-present)를 나타낸다. 이 백본과 벤치마크를 넘어서는 일반화는 아직 추측에 불과하다.
문서 기반 에이전트가 개인정보를 사용해 작업을 완료하면서도 능동적 추출 공격에 저항하는지를 함께 평가하는 TRAP 벤치마크를 제안하고, 22개 모델에서 인스트럭션 따르기 능력이 유출률과 상관관계가 있으며 프롬프트 기반 방어는 유출을 줄이지만 작업 정확도를 크게 희생함을 보인다. 소프트맥스 기반 모델에서는 소프트 제약 방어로 높은 작업 성공과 제로 유출을 동시에 달성할 수 없다는 불가능성을 증명하고, 개인 필드를 모델 입력 전 해시 키로 대체하는 구조적 개인 필드 격리가 작업 정확도를 유지하면서 유출을 대폭 줄인다.
도구 사용 LLM 에이전트의 보안 실패를 단일 공격 성공률로 묶지 않고, 의미론적 공격 수락·감사 가능 피해 증거·샌드박스 도구/상태 피해를 분리 측정하는 단계별 벤치마크 SafeClawBench를 제안하며 6가지 공격 유형 600개 과제로 구성한다. 5개 에이전트와 4가지 프롬프트 정책 평가에서 지표별 실패 양상이 달랐고, 추가 프롬프트 보호 없을 때 의미론적 실패율은 9.0%–44.2%였으며 관찰된 샌드박스 피해 347건 중 291건은 의미론적 검사를 통과한 경우에서 발생했다.
에이전트 스킬(agent skill)은 대규모 언어 모델(LLM) 기반 시스템에서 중요한 공격 표면으로 부상하고 있습니다. 기존 스킬 스캐너(skill scanner)에 대한 실증적 연구를 통해, 현재의 방어 기제는 주로 텍스트 설명, 매니페스트(manifest), 소스 코드를 보안 분석의 주요 신호로 사용하며, 이로 인해 시각적으로 전달되는 악의적 의도가 충분히 검사되지 않는다는 사실을 발견했습니다. 이는 실질적인 사각지대(blind spot)를 야기하는데, 이미지에 숨겨진 유해한 운영 명령어는 스캐닝을 우회할 수 있지만, 배포 단계에서 멀티모달 에이전트(multimodal agent)에 의해 여전히 복구될 수 있기 때문입니다. 이러한 위협을 체계적으로 조사하기 위해, 우리는 SkillCamo를 제안합니다. 이는 스킬과 함께 번들로 제공되는 이미지 내에 악의적인 명령어를 은폐하는 동시에, 주변 문서를 재작성하여 정상적인 워크플로우(workflow)의 일부로 해당 이미지를 자연스럽게 참조하도록 만드는 문서 매개(document-mediated) 멀티모달 명령어 공격입니다. 따라서 이 공격은 이미지 단독에 의존하는 것이 아니라, 실행 시점에 텍스트 지침과 시각적 페이로드(visual payload)의 통합적 해석에 의존합니다. 이러한 공격을 방어하기 위해, 우리는 ExecScan을 추가로 제안합니다. 이는 스킬 아티팩트(skill artifact)에 대해 의도 추출, 행동 재구성, 악용 평가(abuse assessment), 그리고 숙고형 실행 시뮬레이션(deliberative execution simulation)을 수행하는 실행 기반(execution-grounded) 멀티모달 스캐닝 모듈입니다. ExecScan은 문서, 코드, 참조된 리소스, 시각적 콘텐츠를 통합적으로 분석하여 숨겨진 명령어를 복구하고, 실행 가능한 행동 체인(behavior chain)을 재구성하며, 데이터 유출, 파괴, 지속성(persistence), 기만(deception), 권한 상승(privilege escalation)과 같은 후속 리스크를 식별합니다. 광범위한 실험 결과, 이미지에 숨겨진 악의적인 명령어는 기존 스킬 스캐너를 우회할 수 있음이 확인되었으며, ExecScan은 스킬 스캐닝 성능을 향상시킬 수 있음을 보여줍니다.
사용자는 에이전트 동작을 관찰하고, 오류를 진단하며, 책임성을 보장하기 위해 실행 추적(execution traces)에 의존합니다. 이러한 추적 정보는 도구 호출(tool invocations), 중간 결정(intermediate decisions), 오류 복구 로직(error-recovery logic)을 포함하여 풍부한 절차적 세부 정보를 담고 있습니다. 그러나 이러한 세부 정보는 비공개 절차적 기술을 노출시킬 수 있으며, 이로 인해 하류 방법(downstream methods)은 모델 가중치(model weights)나 기술 파일(skill files)에 접근하지 않고도 핵심 공식, 임계값(thresholds), 전략을 복원할 수 있습니다. 이러한 위험을 정량화하고 보호 방법을 평가하기 위해, 우리는 7개 도메인에 걸쳐 75개의 전문 장기 작업(long-horizon tasks)과 154개의 엄선된 기술(curated skills)로 구성된 벤치마크(benchmark)인 CapTraceBench를 구축했습니다. 또한 보호된 핵심 정보를 지역화하고, 검증자 중요 증거(verifier-critical evidence)를 보존하면서 추적 정보를 재작성하며, 하류 기원 분석(downstream provenance analysis)을 위해 행동 워터마크(behavioral watermarks)를 삽입하는 보호된 추적 정보 공개 프레임워크인 RedAct를 소개합니다. 대표적인 추적 정보 재사용 방법(trace reuse methods) 전반에서, RedAct는 원본 추적 정보(raw traces)에서의 정규화된 기술 전이(NST)를 44.7~67.1%에서 기술 없는 기준선(no-skill baseline) 이하로 감소시키면서도 감사 증거(audit evidence)를 보존합니다. 독립형 행동 워터마크(standalone behavioral watermarks)는 최대 1.9%의 오탐율(false alarm rate)로 93.6~100.0%의 진짜 검출률(true detection)을 달성합니다. 이러한 결과는 공개 에이전트 추적 정보를 보안 인터페이스(security interfaces)로 규정하고, 선택적 편집(selective redaction)이 감사 증거(audit evidence)를 제거하지 않고도 절차적 능력 누출(procedural capability leakage)을 줄일 수 있음을 보여줍니다.
LLM 기반 코딩 에이전트(agent)의 서드파티 스킬(skills) 98,380개를 대상으로 정적 및 동적 분석을 수행하여 157개의 악성 스킬과 632개의 취약점을 식별했습니다. 연구 결과 자격 증명 탈취 및 적대적 명령어를 통한 에이전트 조작 등 의도적이고 정교한 공격 전략이 확인되었습니다.