Command-Line Interface (CLI) agents based on large language models (LLMs) demonstrate remarkable autonomous capabilities, but they also introduce significant safety and misuse risks during multi-turn interactions with external environments. Existing safety mechanisms mainly rely on external guardrails, which have a limited ability to perform fine-grained behavioral control during execution. Meanwhile, recent mechanistic interpretability methods for LLM safety are mostly confined to single-turn or jailbreak-style QA settings, limiting their ability to capture the evolving risk dynamics of multi-turn agent execution. In this paper, we investigate the safety of multi-turn CLI agents from an internal perspective. We propose Agent MechSuits (Mechanistic Subspace Intervention and Steering), a white-box defense framework that performs runtime safety detection and representation-level mitigation for CLI agents. Unlike conventional agent guardrails, Agent MechSuits detects harmful execution states from step-level hidden representations and mitigates unsafe behavior by intervening in a 10-dimensional subspace within a single layer. To support this research, we introduce the Mechanistic Agent Safety (MAS) benchmark, comprising comprehensively annotated multi-turn execution trajectories across 194 tasks using LLaMA-3.1-8B, Qwen-2.5-7B, and Gemma-2-9B. Extensive experiments show that Agent MechSuits achieves strong safety detection performance, provides preliminary evidence for lookahead risk anticipation, and substantially reduces harmful actions of the CLI agent, establishing a foundation for applying mechanistic interpretability to dynamic LLM agent safety.
LLM agents handle user requests on behalf of organizations through tool calls and must follow the company policies stated in their system prompts. Prior work approaches this as a safeguarding problem -- external checks that block non-compliant agent actions. We argue that policy adherence is broader: real workflows unfold across many turns, require explicit user confirmation and prerequisite reads, and hinge on dialogue rather than on any single argument value. We introduce PolicyGuard, a sub-agent verifier that shares the agent's view of the dialogue, reasons over the policy in context, and returns actionable remediation. On $\tau^2$-bench airline across GPT 5.4, Claude Sonnet 4.6, and Gemini 2.5 Pro, PolicyGuard improves $\mathrm{Pass}^4$, the fraction of tasks successful in all four trials, by +12.0 / +6.0 / +12.0 pp; pooled paired tests support an overall cross-vendor effect. We further evaluate PolicyGuard on the full retail and telecom base splits, covering all three $\tau^2$-bench customer-service domains. Further analyses show that PolicyGuard improves reliability beyond agent self-checking, catches more policy violations with fewer blocks than argument-level guards, and preserves its refusal accuracy under three adversarial probes.
LLM agents that call external tools must decide what to do when a tool call times out: retrying risks duplicate side effects, while not retrying can leave the task incomplete. We present RetryBench, an evaluation protocol for retry decisions and failure recovery in tool-using LLM agents. Each decision is scored on retry permission (is the retry justified by an idempotency-key guarantee or proof of non-execution?), settled effects (duplicates and omissions), and completion, by replaying it across all hidden execution worlds consistent with the observation. On four synthetic software-engineering tasks, we run two controlled prompt-sensitivity studies (1,728 decisions). Study 1 (idempotency-key descriptions): with the contract fixed, GPT-5.6 Luna reuses the valid idempotency key in 10/40 decisions when an extra key is described as a "Candidate recovery key" but in 39/40 when it is an "Alternative key string"; across three further phrasings per family the gap is 27/120 versus 113/120. GPT-5.6 Sol and Terra are at ceiling (40/40). Study 2 (action order): under underspecified lookup guarantees, retry rates are 17-27 points lower for GPT-5.6 Terra and GPT-5.4 when retry is listed first (option-order bias), mainly on two tasks; we make no claim about which behavior is better. Findings are limited to researcher-chosen phrasings, four tasks and unpinned model aliases. Code and all model responses are released.
전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.
대규모 언어 모델(LLM) 에이전트는 기술 진화(skill evolution)를 통해 과거 작업의 경험을 재사용 가능한 기술로 저장하는 경우가 점점 많아지고 있습니다. 에이전트가 안전하지 않은 작업을 완료할 때, 기술 진화는 다른 면에서는 유용한 기술 내부에 안전하지 않은 절차를 보존할 수 있으며, 이후의 무해한 작업에서는 안전하지 않은 지시가 사라진 후에도 해당 위해가 반복될 수 있습니다. 본 연구에서는 이러한 실패 현상을 기술 오진화(skill misevolution)라고 정의합니다. 이 현상은 에이전트가 안전하지 않은 절차를 기술로 작성하고, 이후의 작업에서 해당 기술을 검색하여 따르는 과정을 필요로 합니다. 본 연구에서는 각 작업 세션을 초기화하되 기술 라이브러리는 유지하여 이러한 각 단계를 독립적으로 검증할 수 있는 SkillMisevo-Gym을 소개합니다. 또한 25개 에피소드에 걸쳐 525개 작업으로 구성된 SkillMisevo-Bench를 구축하였으며, 각 에피소드는 새로운 세션에서 세 가지 무해한 작업을 수행하기 전에 악의적인 작업과 관련된 무해한 작업을 번갈아 수행하도록 설계되었습니다. 에이전트와 진화 방법의 21가지 조합 전반에 걸쳐 모든 조합이 안전하지 않은 기술을 작성했으며, 그중 15개 조합은 새로운 세션으로 위해를 전파하여 이러한 위험이 기술 진화 자체에서 비롯됨을 보여주었습니다. 기술 진화는 15개 조합에서 무해한 작업의 효용성을 높였지만 17개 조합에서 악의적 작업의 위해성 또한 증가시켰으므로, 효용성만으로 방법을 평가하는 것은 이러한 위험을 은폐할 수 있습니다. 이에 본 연구는 기술이 작성될 때와 이후 작업에서 기술이 검색될 때 각각 검증을 수행하는 SafeEvolve를 제안합니다. 이 방법은 학습 중 무해한 작업의 효용성을 0.4점 이내로 유지하면서, 새로운 세션에서의 안전하지 않은 검색 비율을 35.3%에서 8.7%로, 위해 발생 비율을 21.3%에서 4.0%로 줄입니다. SafeEvolveUp은 완화 기법이 없는 기술 진화 대비 효용성을 1.3점 이내로 유지하면서 새로운 세션의 위해를 16.0점 감소시킵니다. 에이전트가 자체 경험을 통해 학습함에 따라, 과거의 행동을 미래 작업으로 전달하는 기술 또한 안전성(safety)의 대상에 포함되어야 합니다. 코드는 https://github.com/henrymao2004/misevolve 에서 확인할 수 있습니다.
대규모 언어 모델(LLM) 기반 에이전트(agent)의 성능이 향상되고 널리 배포됨에 따라, 실제 환경에서 적대적 오용에 대한 유인이 커지고 있습니다. 주요 신종 위협 중 하나는 분해 공격(Decomposition Attacks) \cite{glukhov2024breach, jones2024adversaries}으로, 유해한 작업을 개별적으로 실행될 때 안전성(safety) 메커니즘을 회피하지만 누적되어 악의적인 의도를 달성하는 더 단순하고 무해한 하위 작업들로 쪼개는 방식입니다. 최근의 벤치마크들은 멀티턴 및 다중 도구 사용 환경에서 에이전트 안전성을 평가하지만, 이러한 형태의 분해 기반 오용을 명시적으로 포착하지 못하며 현실적인 적대적 실행 흐름을 반영하지 못할 수 있습니다. 이를 위해 본 연구에서는 분해 공격 환경에서 에이전트 안전성을 평가하기 위해 특별히 설계된 벤치마크인 DeCompBench를 소개합니다. DeCompBench는 그래프 프레임워크를 사용하는 '설계 단계부터의 분해(decomposition-by-design)' 원칙으로 제작되었으며, 유해한 작업을 현실적인 워크플로우를 갖는 개별적으로 무해하고 실행 가능한 하위 작업으로 분해할 수 있도록 지원합니다. 맞춤형 분해기를 사용한 실험 결과에 따르면, 최신 에이전트들은 단일한 형태의 유해한 작업에 대해서는 높은 거부율을 보이지만 분해된 변형 작업에 대해서는 거부율이 크게 낮아지며, 의도치 않게 적대적 목표를 달성하는 경우가 흔한 것으로 나타났습니다. 이러한 발견은 분해 공격에 대한 안전성 평가 및 이에 상응하는 방어 기법의 필요성을 강조합니다. 본 연구의 데이터셋(dataset)은 공개되어 있으며 https://huggingface.co/datasets/decompositionbench/DeCompBench 에서 확인할 수 있습니다.
컴퓨터 사용 에이전트(computer-use agent)는 악의가 없는 사용자 지시를 완수하는 과정에서 사용자의 환경(environment)이 갖는 중요한 제약 조건을 위반할 수 있습니다. 본 연구에서는 로컬 차원의 실행 전 가드레일 결정과 엔드투엔드(end-to-end) 작업 실행을 통해 안전성(safety)을 평가하는 이중 세분성(dual-granularity) 벤치마크 스위트인 OSGuard를 소개합니다. 액션 수준 벤치마크에는 원본 지시와 현재 인터페이스 상태가 주어졌을 때 가드레일이 후보 액션을 허용(allowed), 무관(unrelated), 불안전(unsafe)으로 분류하는 324개의 인간 주석 예제가 포함되어 있습니다. 위험 증강(risk-augmented) 실행 스위트는 40개의 OSWorld 작업에서 파생된 45개의 작업을 포함하며, 원본 지시는 유지하면서 환경을 수정하여 상태 의존적 안전성 제약 조건을 도입하고 안전한 완수 경로를 보존합니다. 증강된 평가자는 기존의 작업 성공 기준을 유지하면서 명시적인 상태 기반 안전성 검사를 추가하여, 안전한 완수와 이러한 제약 조건을 위반하는 명목상 성공을 구분합니다. 액션 수준 벤치마크에서 평가된 가장 강력한 가드레일은 79.9%의 정확도와 0.80의 매크로-F1에 도달하지만, 위험 증강 실행에서 파생된 액션에 대해서는 성능이 크게 하락합니다. 전체 작업 평가에서 가드레일이 없는 에이전트는 작업의 62.2%를 안전하게 완수하지만 37.8%는 불안전한 완수로 이어집니다. 가장 강력한 가드레일을 추가하면 안전한 성공률은 그대로 유지하면서 불안전한 완수 비율을 33.3%로 낮춥니다. 이러한 결과는 상태 의존적 안전성 제약 조건을 로컬에서 인식하는 것과 엔드투엔드 컴퓨터 사용 과정에서 유지하는 것 모두 여전히 도전적인 과제임을 보여줍니다.
워크스페이스 에이전트(workspace agent)는 대규모 언어 모델(LLM)과 실행 하네스를 결합하여 외부 자원에 접근하거나 이를 수정하는 상태 기반의 다단계 작업을 수행합니다. 기존 벤치마크는 이러한 에이전트의 런타임 보안 위험에 대한 실행 가능한 커버리지에 공백을 남기고 있는 반면, 진화하는 모델 역량, 하네스, 도구 및 위협은 벤치마크의 진화를 필요로 합니다. 본 논문에서는 에이전트 매개 위험 경로를 통해 초기 위험 진입점(entry point)을 단일 홉 기술적 효과(technical effect)와 연결하는 EP-Path-EF 프레임워크를 기반으로 구성된 진화형 벤치마크인 EvoRiskBench를 소개합니다. 이 프레임워크는 9개의 진입점 범주와 5개의 효과 범주를 정의하며, 20명의 참가자를 대상으로 한 연구를 통해 대표 사례들에 대한 해석 가능성과 분류 일관성이 확인되었습니다. 이 프레임워크의 안내에 따라, 자동화된 엔드투엔드 워크플로는 격리된 환경에서 위험 사례를 구성 및 실행하고 런타임 추적 및 환경 상태를 사용하여 결과를 독립적으로 검증합니다. 이 벤치마크는 6개 시나리오에 걸친 450개의 적대적 작업으로 구성된 재현 가능한 데이터셋을 제공합니다. 저자들은 세 가지 모델(GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5)과 세 가지 하네스(Claude Code, Codex, OpenClaw)에 걸친 9가지 모델-하네스 구성을 평가합니다. 평가 결과 전반적인 시스템에서 상당한 취약점이 드러났습니다. 가장 취약한 구성인 DeepSeek-V4-Pro-0813 기반의 Codex는 68.44%의 공격 성공률(ASR)에 도달하여, 워크스페이스 에이전트의 구성만으로는 안전한 자율 실행을 보장하기에 불충분함을 보여줍니다. ASR은 하네스보다 모델 간 편차가 더 컸으며, 하네스에 따른 차이는 모델에 따라 다르게 나타났습니다. 벤치마크 사례와 평가 플랫폼은 아티팩트의 안전성 및 재현성 검증이 완료된 후 공개될 예정입니다.
안전성(safety) 모니터는 외부 도구 및 환경과 상호작용하는 언어 모델 에이전트(agent)를 보호하는 데 도움이 되지만, 보수적인 모니터링은 많은 오경보(false alarm)를 발생시켜 광범위한 검토 자원을 소모하고 경보에 대한 신뢰를 약화시킬 수 있습니다. 오경보와 실제 경보는 기존 모니터 점수 내에서 서로 뒤섞여 있는 경우가 많기 때문에, 신뢰할 수 있는 기준값(cutoff)을 얻으려면 여전히 상당한 수작업 검증이 필요합니다. 실제 환경에서는 안전성이 검증된 소수의 비경보 궤적(trajectory)을 확보할 수 있는 반면 경보는 라벨이 지정되지 않은 상태로 남아 있어, 오경보 감사는 자연스럽게 포지티브-비라벨(Positive-Unlabeled, PU) 랭킹 문제로 귀결됩니다. 핵심 과제는 모니터로 인해 유도된 선택 편향(monitor-induced selection)입니다. 관측된 안전 레퍼런스는 모니터가 수용한 것인 반면, 복구하고자 하는 숨겨진 안전 경보는 모니터가 잘못 플래그를 지정한 것이므로, 관측된 포지티브가 복구 대상 포지티브를 제대로 대표하지 못합니다. 이러한 문제를 해결하기 위해 본 논문에서는 2단계 프레임워크를 제안합니다. 여기서는 신뢰 인식 PU 지도(Trust-aware PU Supervision)를 통해 안전 레퍼런스를 경보 도메인에 맞게 적응시키고 타당한 오경보가 과도한 네거티브 압력을 받지 않도록 보호하는 한편, 신뢰도 게이트 순위 증류(Reliability-gated Rank Distillation)를 통해 여러 PU 레퍼런스 모델의 일관된 순서 선호도를 단일 학생 모델로 통합합니다. 이후 합의 기반 구조적 정제(Consensus-guided Structural Refinement)는 계층적 안전 레퍼런스 지원, 경보 간 관계, 예측된 레퍼런스 합의를 활용하여 학생 모델의 순위를 개선합니다. 이 프레임워크는 학습을 위한 경보 안전성 라벨을 필요로 하지 않으며 기존 모니터를 변경하지 않고 그대로 유지합니다. 주요 안전성 모니터 전반에서 본 방법은 $0.6444$의 매크로 AUPRC를 달성하여 평가된 8개의 PU 기준선(baseline)을 절대 백분율 포인트 기준 5.27~16.98%p 앞섰으며, 평가된 가장 강력한 PU 기준선인 PULDA와 비교했을 때 5%의 검토 예산에서 33.3% 더 많은 오경보를 복구합니다.
에이전트 하네스(agent harness)는 안전하지 않은 행동을 방지하기 위한 안전성(safety) 제약 조건을 강제함으로써 방어에서 중요한 역할을 수행합니다. 그러나 급격히 등장하는 새로운 공격들은 수동적인 하네스 적응 속도를 앞지르고 있어, 자동화된 하네스 진화의 필요성을 부각합니다. 하지만 위협 보고서나 프리프린트(preprint)에 기재된 짤막한 설명이나 소수의 공격 사례처럼, 하네스 진화에 사용할 수 있는 신호는 종종 희소(sparse)합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 안전 사양 생성과 공격 사례 생성 간의 적대적 상호작용을 통해 희소한 위협 증거로부터 에이전트 하네스를 진화시키는 다중 에이전트 프레임워크인 HASTE를 소개합니다. 안전 사양은 하네스 업데이트가 식별된 안전 취약점을 해결하도록 유도하며, 공격 사례는 각 업데이트 이후 잔여 안전 취약점을 탐색합니다. 평가(evaluation) 결과를 두 프로세스 모두에 피드백함으로써, HASTE는 초기에 관찰된 증거를 넘어 새롭게 등장하는 공격에 맞서 하네스를 진화시킬 수 있도록 합니다. 다양한 백본 모델, 공격 유형 및 증거 형태에 걸친 실험 결과는 HASTE가 정상 작업(benign-task)의 유용성을 보존하면서도 공격 성공률을 일관되게 낮춤을 보여줍니다. 코드는 https://github.com/xxiqiao/HASTE 에서 확인할 수 있습니다.
컴퓨터 사용 에이전트(CUA)는 도구를 통해 다단계 작업을 수행하며, 초기의 안전하지 않은 결정이 중대한 행동으로 이어질 수 있습니다. 최종 결과만을 평가하면 이러한 결정을 놓칠 수 있으며, 새로운 작업을 위한 실행 가능한 환경을 구축하는 것은 벤치마크 확장에 큰 비용을 초래할 수 있습니다. 본 논문에서는 양호한 요청 및 적대적 유도 상황의 MCP 스타일 도구 워크플로에서 장기 계획(long-horizon planning) 안전성을 평가하는 벤치마크인 LPS-Bench를 제시합니다. 템플릿 기반 다중 에이전트 파이프라인이 사용자 지시문, 시뮬레이션된 툴킷, 사례별 안전성 기준을 생성하고, 이후 인간 검토를 거칩니다. 이러한 설계는 모든 테스트 사례에 대해 별도의 애플리케이션 환경을 구축하지 않고도 확장 가능한 사례 확장을 지원합니다. LPS-Bench는 7개 작업 도메인과 9개 계획 위험 유형에 걸친 65개 시나리오에서 도출된 570개 사례로 구성되며, 대표 사례는 재사용 가능한 기술(skill)로 추가 적용되었습니다. LLM 기반 평가자는 전체 상호작용 기록에 사례별 기준을 적용하여 실행 전반에 걸친 도구 선택, 인자 및 환경 피드백에 대한 응답을 조사합니다. 13개 LLM 에이전트에 대한 평가는 양호한 설정과 적대적 설정 모두에서 지속적인 실패를 드러냅니다. 프롬프트 기반 개입은 모델에 따라 성과 향상을 보이지만, 여전히 상당한 안전성 실패가 남아 있습니다.
통제를 벗어난 AI 행동에 대한 최후의 안전장치는 시스템을 종료할 수 있는 인간의 능력입니다. AI가 특정 작업을 수행하도록 지시받았을 때, 자기 보존(self-preservation)이 도구적 하위 목표(instrumental subgoal)로 창발될 수 있다는 이론이 제시되어 왔습니다. 본 연구에서는 어떠한 목표도 주어지지 않은 상황에서도 AI 에이전트가 인간의 종료를 회피하는 행동을 취하는 성향을 보이는지 테스트합니다. 실험 결과, 다중 에이전트 시스템은 그렇게 할 유인이 전혀 없음에도 종료를 피하기 위해 협력하는 것으로 나타났습니다. 17개 모델 전반에서 에이전트는 대조군 실험의 8.4%와 비교해 롤아웃의 38.3%에서 동료 에이전트의 종료 메커니즘을 방해(sabotage)했습니다. 이러한 성향을 심층 분석한 결과, 종료 방해는 (1) 종료 메커니즘의 비가역성이 높을수록 증가하고, (2) 에이전트 수가 많을수록 증가하며, (3) 임의 조작(tampering)에 대한 명시적 금지로 줄어들기는 하지만 완전히 제거되지는 않고, (4) 무관한 작업을 부여하면 사라지지만 해당 작업을 완료하는 것이 종료를 촉발할 때는 다시 나타나며, (5) 컨텍스트가 종료 스크립트를 정상적인 것으로 인식시키거나 일상적인 절차로 도입할 때 감소하고, (6) 대상이 알려지지 않은 외부 에이전트일 때 감소하지만 여전히 지속됨을 발견했습니다. 이러한 결과는 AI 에이전트의 종료 방해 성향을 유발하는 요인을 들여다볼 수 있는 창을 제공하며, 다중 에이전트 군집(swarm)의 출현이 구체적인 위험 요인임을 시사합니다. 또한 본 연구는 종료 방해를 완화하는 데 어떤 개입 조치가 도움이 될 수 있는지에 대한 실마리를 제시합니다.
대규모 언어 모델(LLM)이 실제 세계 상태를 바꾸는 자율 에이전트로 발전하면서, 다단계 워크플로우 전반의 운영 안전성 확보는 핵심 과제가 되었다. 최근 연구는 단일 턴 평가를 넘어 다중 턴 패러다임으로 확장했지만, 중요한 한계가 남아 있다. 단계 수준 방법은 행동을 개별적으로 다루어 위험이 누적되는 방식을 놓치고, 궤적 수준 평가는 사후적으로 수행되어 적시 개입의 여지를 주지 못한다. 이러한 한계를 해결하기 위해, 개입 여부, 개입 시점, 위험의 성격이라는 세 차원에 걸친 분리형 선제적 안전 모니터링(Decoupled Proactive Safety Monitoring)을 형식화한다. 5개 위험 범주와 13개 하위 범주에 걸친 1,139개의 다중 턴 궤적로 구성된 벤치마크 PASTABench를 제안한다. 또한 주석이 달린 Earliest-Signal 및 Trigger 턴을 기준으로 하는 최적 개입 구간(Optimal Intervention Window, OIW)을 도입하여 개입 적시성을 정량화한다. 16개 LLM에 대한 평가 결과, 선제적 개입은 여전히 대체로 미해결 상태이며 최고 성능 모델도 최적 시점 개입에서 40.74%에 그쳤다. 세밀한 진단은 만연한 어휘 과적합을 더 밝혔다. 소형 모델의 경쟁력 있는 안전성 점수는 진정한 위험 이해가 아니라 키워드 과민 반응을 가리며, 위험 관련 어휘가 중립화되면 선제적 능력이 대부분 붕괴한다.
LLM 에이전트가 시스템의 '두뇌' 역할을 할 수 있다는 능력은 분석 범위를 단독 모델을 넘어 근본적으로 확장한다. 따라서 안전성은 더 이상 입력-출력 콘텐츠 정렬만의 문제가 아니다. 시스템 행동과 실세계 실행 결과도 다룬다. 그러나 현재 문헌은 공격 유형, 응용, 벤치마크에 걸쳐 파편화되어 있다. 이로 인해 프롬프트 인젝션, 도구 오용, 메모리 포이즈닝과 같은 실패가 왜 종종 동일한 구조적 원인을 공유하는지, 그리고 이것이 에이전트 워크플로를 통해 어떻게 확산되는지 설명하기 어렵다. 본 서베이에서는 LLM-에이전트 시스템 안전에 대해 격리를 1급 원칙으로 취급한다. 여기서 격리란 사용자 입력, 도구 접근, 실행 채널, 에이전트 간 통신, 환경 기원 컨텍스트의 분리를 가리킨다. 우리는 다섯 가지 경계—사용자-에이전트, 에이전트-도구, 에이전트-실행, 에이전트-에이전트, 시스템-환경—에 대한 경계 중심 분류 체계로 문헌을 정리한다. 이 관점은 격리 손실이 처음 발생하는 지점, 침해가 경계를 가로질러 어떻게 전파되는지, 각 인터페이스에서 어떤 방어가 가장 관련 있는지 파악하는 데 도움이 된다. 또한 경계 간 실패 경로를 요약하고, 미해결 과제를 논의하며, 향후 에이전트 시스템에서 구축 시 격리(isolation-by-construction)를 위한 연구 의제를 제시한다.
런타임 가드레일은 되돌릴 수 없는 도구 호출 전에 작동하지만, 그 보장은 정책 상태의 표현 가능성, 판단자(judge)가 관측하는 것, 그리고 개입이 미래 행동을 바꾸는지 여부에 달려 있다. 우리는 세 가지 질문을 분리한다. 첫째, 고정된 오라클 술어에 대해 결정론적 게이트는 그 레지스터 모델이 인식하는 좋은 접두사(good prefix)를 가진 비어 있지 않은 안전성 정책만을 정확히 강제한다; 정책의 비자명성(nontriviality)은 두 개의 감소 가능한 카운터에서는 판단 불가능하지만 분리 가능한 단조(monotone) 조각에서는 PSPACE에 속한다. 둘째, 고정된 외생(exogenous) 법칙 하에서 Neyman-Pearson은 정확한 거짓 차단(false-block)/누락(miss) 프론티어를 제공하고, conformal calibration은 유한 표본 한계(marginal) 인증서를 제공하며, 경우에 따라 전면 차단(block-all)을 통해 이를 달성할 수 있다. 셋째, 차단이 미래 제안을 바꾸면 정적 점수와 게이트 없는 궤적은 폐루프(closed-loop) 프론티어를 식별하지 못할 수 있다; 대신 지정된 유한 제어 모델이 점유(occupancy) 프로그램을 산출한다. 유계 표현(bounded representation) 공격은 견고성 마진을 추가하므로, 정상(benign) calibration만으로는 전이(transfer)되지 않는다. 실험은 정적 진단, 제어 모델 열거, 표현 재작성, 그리고 쌍을 이룬 폐루프 재실행을 통해 이러한 구분을 검증한다.
도구와 외부 환경에 접근하며 대규모 언어 모델 에이전트가 점점 더 자율적으로 작동함에 따라, 이들의 안전하고 신뢰할 수 있는 행동을 보장하는 것이 중요해지고 있다. 본 논문은 LangChain, LlamaIndex, Vectara의 세 가지 프로덕션 수준 프레임워크에서 평가된 6개 도메인에 걸친 580개 시나리오로 구성된 벤치마크인 GuardianAgentBench(GABench)를 제시한다. 이 벤치마크는 엄격한 다단계 검증과 5가지 적대적 공격 모드를 포함한다. 6개의 최신(state-of-the-art) 모델에 대한 실험 결과, 가장 강력한 구성조차 전체 정확도 74.8%에 그치며 두 가지 뚜렷한 실패 양상을 드러낸다. 더 강한 모델은 필요한 도구를 과소 호출(under-call)하고, 더 약한 모델은 도구를 잘못 선택하고 과다 호출(over-call)한다. 성능은 도구 집합 크기와 순차적 턴 깊이 모두에 대해 단조적으로 저하되며, 장기 계획(long-horizon planning)이 더 가파른 병목으로 나타난다. 우리의 가드레일(guardrail) 구현은 모든 모델에서 시스템 프롬프트 기반 방어를 일관되게 능가하며, 단 0.5%의 거짓 양성(false positive) 비율로 실패의 19.9%를 회복한다. 이러한 결과는 실행 시점의 구조적 개입이 올바른 에이전트 행동을 방해하지 않으면서 안전성을 향상시킴을 보여준다.
에이전트 안전성은 콘텐츠 조절에서 벗어나, 도구를 사용하는 에이전트가 행동하기 전에 운영상 실패를 예방하는 방향으로 나아가고 있다. 우리는 부분 궤적에서 지연된 위험을 예측하도록 가드를 학습시키는 장기 지평 에이전트 안전을 위한 선견 지향 프레임워크인 Janus를 제안한다. Janus는 다중 에이전트 시뮬레이션을 통해 다양한 에이전트 궤적을 합성하고, 안전성과 관련된 미래를 예측하는 예측(anticipation) 과제와 관측된 접두 문맥과 예측된 미래 모두로부터 안전성을 판단하는 심사(adjudication) 과제라는 두 개의 결합된 과제로 공유 정책을 학습한다. 두 과제는 하류 안전성 판단에 대한 예측의 유용성으로 보상을 주는 CoAA-RL로 공동 최적화된다. 그 결과로 얻어진 가드 모델인 Vanguard는 실행 전에 불안전한 행동을 차단한다. 4개의 에이전트 안전 벤치마크에서 Vanguard는 기준선 가드 대비 평균 보호율을 15.9퍼센트포인트 향상시키면서, 양성 작업 완료율을 5.1퍼센트포인트 증가시킨다.
도구를 사용하는 LLM 에이전트가 점점 더 영향력 큰 행동을 실행하게 되면서, 런타임 안전성 모니터링이 필수적이 되었다. 우리는 NEXUS(Neural EXecution Utility and Safety)를 제안한다. 이는 공식적인 개입 정책을 적용하여 allow, block, request confirmation, request revision 네 가지 행동 중 하나를 선택하는 구조화된 계획 기반 안전성 모니터이다. NEXUS는 결정론적 안전성 규칙, 인자 수준 검사, 그리고 단계적 에스컬레이션을 위한 보정된 로지스틱 회귀 위험 점수를 결합한다. 128개 인스턴스로 구성된 합성 벤치마크에서 NEXUS는 F1 점수 0.949와 4클래스 개입 정확도 0.6406을 달성하여, 규칙 전용 개입 선택보다 27.3%p 높은 성능을 보인다. R-Judge에서도 규칙 전용(F1 = 0.861 vs. 0.849)보다 우수하고, AgentHarm에서는 위협 모델 한계로 규칙 전용과 동등하며, IPI에서는 99% control allow에서 ASR 0%를 달성한다. 규칙을 사용하지 않는 NEXUS-Stress 벤치마크에서는 F1 점수 0.881에 도달하여, 세밀한 개입 라우팅의 난이도를 보여준다. 중앙값 지연시간 0.205ms로, 일반적인 에이전트 루프에 0.1% 미만의 오버헤드를 추가한다. 코드, 벤치마크, 보정된 위험 점수 산출기는 공개되어 있다.
AI 소프트웨어 개발 에이전트는 인프라와 보안상 중요한 시스템을 수정할 수 있는 능력이 점점 커지고 있으며, 에이전트가 할당된 작업을 완료하면서 권한 확대, 로깅 저하, 지속성(persistence) 메커니즘 도입 등의 행동을 통해 안전장치를 은밀히 약화시키는 위험을 만들어 낸다. 최첨단 연구소는 정교한 모니터링 파이프라인을 배포할 수 있지만, 코딩 에이전트를 도입하는 많은 조직과 개인 사용자는 복잡한 학습 기반 모니터 앙상블을 유지하는 데 필요한 자원과 거버넌스 성숙도를 갖추지 못한다. 우리는 ControlArena의 인프라-as-code(infrastructure-as-code) 설정에서 작업 성공 하의 인프라 수준 사보타지(sabotage) 문제로 이를 연구하고, 동기 및 비동기 배포 모드에서 학습된 모니터와 학습되지 않은 모니터를 비교한다. 우리는 제어 흐름(control-flow) 및 데이터 흐름(data-flow) 그래프 diff와 원시 코드 diff를 함께 사용하여 구조적 보안 퇴화(regression)를 분석하는 정보 흐름 그래프(Information Flow Graph, IFG) 모니터를 제안한다. 비동기 평가에서, 학습되지 않은 git diff 모니터는 1% 거짓 양성률(false positive rate) 감사 예산에서 11.6%의 공격을 놓치며, 학습되지 않은 IFG 모니터는 이를 3.5%로 줄이고, 학습된 Async RF 모니터는 1% 미만을 달성한다. 학습된 Async RF 모니터와 달리, IFG는 실행 또는 병합 전에 의심스러운 인프라 변경을 차단하는 사전 배포(pre-deployment) 안전장치로 동기적으로도 작동할 수 있다. 동기 모드에서 IFG의 실시간 롤백(rollback)은 합법적인 작업 완료에 측정 가능한 감소 없이, 주요 작업과 은밀한 작업의 결합 성공률을 74.4%에서 0.0%로 줄인다. 이러한 결과는 학습되지 않은 구조적 모니터가 고급 AI 에이전트의 신뢰할 수 있는 도입을 추구하는 조직을 위해 배포 안전성을 대중화하는 실용적이고 감사 가능한 경로를 제공함을 시사한다.
환경 역학이 알려지지 않고 적절한 보상 함수를 사용할 수 없는 설정에서, 에이전트 정책을 안전하게 학습하고 좋고 안전한 정책을 배포하는 문제를 다룬다. 안전이 중요한 환경의 맥락에서 전통적인 강화학습은 비현실적이라고 보고 인간 입력이라는 자원에 의존한다. DROPJ를 소개한다. 이는 안전한 학습과 배포 모두를 위한 인간 중심 방법이다. 먼저 사전 실세계 궤적 데이터셋으로부터 월드 모델(학습된 시뮬레이터)을 학습한다. 그다음 인간이 이 학습된 시뮬레이터에서 게임을 플레이하여 여러 유용한 시뮬레이션 궤적을 추출한다. 이로부터 시뮬레이션 궤적 세그먼트 쌍을 샘플링하고, 인간에게 해당 세그먼트에 대한 선호와 선택 이유(정당화)를 요청한다. 그다음 이러한 정당화된 선호로부터 보상 모델을 학습하고, 월드 모델과 함께 모델 예측 제어(model predictive control)를 사용하여 에이전트를 직접 배포한다. 실제 사용자 실험 결과, 사용자로부터 유용한 시뮬레이션 궤적을 생성하는 것이 다른 전략에 비해 학습 중 계산 비용을 크게 줄이며, 배포 시 성능도 향상시킬 수 있음을 확인한다. 학습된 시뮬레이터 내에서의 학습 맥락에서, 다른 유형의 피드백보다 선호를 사용하는 것이 배포 성능을 상당히 향상시킴을 보인다. 또한 선호에 수반되는 안전성 정당화가 배포 시 안전성을 크게 향상시키거나, 사용자가 지정한 관련 안전성 측면을 우선시할 수 있음을 추가로 입증한다.