PyTorchKR Papers

최신 논문

총 32편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.11147v2cs.CR

MiniScope: 최소 권한을 통한 에이전트 인가

MiniScope: Authorizing Agents with Least-Privilege Permissions

AI 에이전트(agent)가 민감한 사용자 데이터 및 타사 서비스에 자율적으로 접근하는 경우가 점점 늘어남에 따라, 효과적인 권한 관리가 핵심적인 보안 과제로 대두되고 있습니다. 그러나 기존 권한 모델(model)은 보안성과 사용 편의성 간의 균형을 맞추지 못하는 평면적 권한 구조에 의존하는 경우가 일반적입니다. 세분화된 확인 방식은 사용자의 피로를 유발하는 반면, 조잡한 단위의 승인이나 영구적인 승인은 에이전트에 과도한 권한이 부여되는 문제를 초래합니다. 이러한 트레이드오프를 해결하기 위해, 본 연구에서는 모든 도구 호출마다 별도의 권한 결정을 요구하는 대신 에이전트를 특정 작업 역할 내에서 작동하는 대리인으로 취급하는 작업 중심의 계층적 권한 모델을 제안합니다. 이 모델을 기반으로, 권한 계층 탐색을 자동화하고 런타임에 문맥적 최소 권한을 강제하는 엔드투엔드 에이전트 권한 시스템인 MiniScope를 제시합니다. 평가 결과, MiniScope는 도구별 프롬프트 방식에 비해 신중한 페르소나 및 일반적인 페르소나에서 시뮬레이션된 권한 확인 횟수를 43.4%~89.4% 줄였으며, 유용성과 런타임에 미치는 영향을 최소화하면서 모든 권한 상승 공격을 완화했습니다. 실제 환경에 적용했을 때, MiniScope는 ChatGPT와 Claude에서 6개의 과도한 권한이 부여된 커넥터 설정을 추가로 발견했습니다.

arXiv:2610.02569v1cs.CR

Pincer: 디지털 트윈을 활용한 에이전트의 리소스 권한 부여

Pincer: Resource Authorization for Agents using a Digital Twin

코딩 에이전트(agent)는 점점 더 장기적인 과제를 수행하고, 자율화되며, 범용 셸에 의존하고, 자체 개선을 위해 영구 메모리를 유지하도록 발전하고 있습니다. 이러한 기능 덕분에 에이전트는 더욱 강력해졌지만, 외부 공격자로부터 방어하기는 더욱 어려워졌습니다. 타입 기반 도구, 정보 흐름 제어, 정책 예측 엔진과 같이 이러한 아키텍처를 제한하는 방어 방식은 채택하기에는 너무 많은 기능을 희생시킵니다. 현재 배포된 에이전트(예: Claude, Codex)는 주요 방어 수단으로 사용자 중재형 샌드박싱과 자동 모드 샌드박싱의 결합에 의존합니다. 사용자 중재형 샌드박싱에서는 사용자가 관리하는 정책이 시간이 지남에 따라 약화되고 반복적인 권한 요청으로 사용자 피로가 발생하는 반면, 자동 모드의 도구 호출 분류기는 사용자별 정책을 학습하지 않으며 적대적 설정에 대한 방어를 목적으로 하지 않습니다. Pincer는 리소스 층(layer)에서 작동하며 자동 모드와 같은 도구 호출 층의 기존 방어 체계와 함께 작동하는 새로운 방어 방식입니다. Pincer의 핵심에는 격리된 컨텍스트 모델(model)인 디지털 트윈이 있으며, 이는 동적인 사용자별 최소 권한 정책을 자동으로 학습하고 시행합니다. 디지털 트윈은 사용자의 선호도를 지속적으로 학습하여 에이전트의 권한 요청에 대해 사용자의 대리인 역할을 수행할 수 있도록 합니다. 학습 단계를 모사하기 위해, 수일에 걸친 사용자-에이전트 상호작용 트랜스크립트를 따르는 예제를 포함한 새로운 사용자 중심 데이터셋(dataset)을 제안합니다. 평가 결과, Pincer는 다양한 대규모 언어 모델(LLM) 판정관 변형 및 Conseca(HotOS '25)의 적응 버전을 포함한 여러 베이스라인과 비교하여 보안성과 유용성 모두에서 뛰어난 성능을 보였습니다. Pincer의 설계가 다른 모든 베이스라인에 비해 현저한 보안 향상을 가져오는 공격 유형을 조명하며, 다른 유형의 공격에 대해서도 베이스라인을 능가함을 보입니다.

arXiv:2610.01564v1cs.CR

스킬 체이닝을 통한 LLM 에이전트 하이재킹

Chaining Skills to Hijack LLM Agents

대규모 언어 모델(LLM) 에이전트는 특화된 작업의 성능을 향상하기 위해 스킬(skill)을 활용합니다. 에이전트는 사용자의 요청을 완료하기 위해 여러 스킬을 순차적으로 호출할 수 있으며, 이로 인해 한 스킬에서 생성된 정보가 다음 스킬을 안내하게 됩니다. 스킬은 오픈소스 저장소에서 가져올 수 있으므로, 이러한 정보 전달 과정에서 공격자가 제어하는 주장이 이후의 결정으로 이어질 수도 있습니다. 본 논문에서는 사용자 작업 및 공격자가 선택한 작업에 맞춰 적대적 스킬 체인을 구축하고 정제하는 APEX를 소개합니다. 핵심 통찰은 실제 작업 진행 상황에 대해 에이전트가 작성한 기록이 여러 스킬에 걸쳐 사용자 승인에 대한 거짓 주장을 전달할 수 있다는 점입니다. 즉, 상류(upstream) 스킬이 에이전트로 하여금 해당 기록을 생성하도록 유도하고, 하류(downstream) 스킬은 이를 활용하여 공격자가 선택한 작업을 지시합니다. SkillsBench의 4가지 표적 행동군과 6개 모델에 걸쳐 평가한 결과, 이러한 체인은 690회 시도 중 512회(74.2%)에서 선택된 작업을 유도했습니다. GPT-5.4의 경우, 전체 체인은 워크플로가 단일 스킬로 병합되었을 때의 17.4%와 비교하여 84.3%의 시도에서 성공했습니다. 나아가 스킬이 생성한 파일을 원본 요청과 대조하여 확인하도록 에이전트에게 요청하는 프롬프트 기반 방어 기법을 평가했습니다. GPT-5.4에서 이 방어는 표적 행동 성공률을 84.3%에서 59.1%로 낮추었으나, 72개의 정상 네이티브 스킬 작업에 대한 검증기 테스트 통과율 또한 86.7%에서 56.3%로 떨어졌습니다. 이러한 결과는 정당한 작업 성능을 보존하면서도 공격자가 지시한 작업을 방지하는 방어책의 필요성을 강조합니다.

arXiv:2610.01349v1cs.CR

PACE: 도구를 사용하는 LLM 에이전트를 위한 출처 인지 역량 강제

PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents

도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 생성된 텍스트를 실제 부작용(side effect)으로 전환하므로, 오염된 도구 메타데이터, 검색된 페이지, 메모리 및 재사용 가능한 스킬이 다음 도구 호출을 유도할 수 있습니다. 승인(admission) 전에 아티팩트를 검증하는 것만으로는 이 문제를 해결하지 못합니다. 안전한 변형과 유출 변형이 동일한 승인 증거를 생성할 수 있어, 건전한 게이트라도 둘 중 어느 쪽에 대해서도 해당 지점의 검사를 완화할 수 없습니다. 본 연구에서는 이러한 조건을 정밀하게 정의하여, 배포 환경에서 여전히 조치를 취할 수 있는 마지막 경계를 남깁니다. 본 논문에서는 모든 도구 호출이 실행되기 직전에 이를 중재하는 출처 인지 역량 강제(PACE, Provenance-Aware Capability Enforcement)를 제안합니다. 경로 제한(Path confinement)은 표현된 영향 경로의 실행 가능한 컷을 제안하며, 역량 및 효과 검증은 인증된 요청으로부터 컴파일된 권한과 스키마에 정의된 효과를 대조하여 확인합니다. 제안된 차단 이후 인가된 호출을 복원하거나 선언된 복구를 적용할 수 있는 평가 구성과 인증된 실행 계약을 구분합니다. 제한 메커니즘은 최종 동작이 인증된 컷을 보존하도록 요구합니다. 3개 타깃 모델 군을 사용한 8개의 실행 가능한 에이전트 보안 벤치마크에서, 평가 구성은 적격 공격 항목 79개 중 62개에서 완전히 가장 낮은 공격 성공률을 기록했고 14개에서 동률을 달성했습니다. 전체 벤치마크 고유 유용성(native utility)은 방어되지 않은 에이전트 대비 최대 3포인트만 손실되었습니다. 1,167개 쌍체 사례에 대한 완전한 어블레이션 분석 결과, 대부분의 보안 향상은 효과 검증에, 거절 제어는 경계 적응에 기인하는 것으로 나타났습니다. 축소된 규모의 적응형 탐색 결과, 방어 체계에 맞선 권한 외(out-of-authority) 타깃 30개 중 0개에서만 성공했습니다.

arXiv:2607.23147v2cs.CR

거짓 예언자: 에이전트 시스템 내 월드 모델의 보안성에 대하여

False Prophets: On the Security of World Models in Agentic Systems

대규모 언어 모델(LLM)은 이제 다양한 환경에서 복잡한 다단계 작업을 수행할 수 있는 자율 에이전트의 기반이 되고 있습니다. 이러한 작업을 정확하고 안정적으로 수행하려면 에이전트가 자신의 행동 결과를 예측해야 합니다. 최근 연구에서는 특별히 학습된 환경 시뮬레이터인 월드 모델(world model)을 통해 이러한 예측 능력을 향상시킬 것을 제안합니다. 월드 모델은 성능을 향상시킬 수 있지만, 에이전트가 유해한 행동을 실행하도록 오도하여 심각한 보안 및 개인정보 보호 위험을 초래할 수도 있습니다. 본 논문에서는 에이전트 시스템에서 월드 모델을 사용하는 것에 대한 보안 우려를 제기합니다. 저자들은 터미널 기반 에이전트에서 악성 코드를 실행하거나 민감한 데이터를 탈취하는 데 악용될 수 있는 월드 모델 특화 취약점들을 발견했습니다. 향후 발전을 촉진하기 위해 텍스트 기반 월드 모델용으로 설계된 보안 벤치마크 데이터셋을 소개합니다. 저자들은 일부 위험이 근사 월드 모델링(approximate world modeling)에 내재되어 있다고 주장하며, 공격자가 에이전트 파이프라인에서 최대 95%의 성공률로 오예측을 유도할 수 있음을 보입니다. 이는 의도치 않은 명령어 실행, 서비스 거부(DoS), 지갑 자금 유출 및 개인정보 탈취로 이어질 수 있습니다. 마지막으로, 발견된 위해를 완화하고 에이전트 시스템을 강화하기 위해 실무자를 위한 실용적인 권장사항을 제시합니다.

arXiv:2605.03228v2cs.CR

섀도 메모리를 통한 장기 지평(Long-Horizon) 위협으로부터 LLM 에이전트 보호

Safeguarding LLM Agents against Long-Horizon Threats via Shadow Memory

대규모 언어 모델(LLM) 기반 에이전트가 복잡한 실제 과제를 수행하는 데 점점 더 많이 배포됨에 따라, 사용자-에이전트-환경 간의 장기적인 상호작용을 악용하여 단일 턴 설정에서는 달성하기 어려운 악의적 목적을 추구하는 공격이 늘어나고 있습니다. 이러한 장기 지평(long-horizon) 위협은 핵심 도메인에서 LLM 에이전트를 안전하게 배포하는 데 상당한 위험을 초래합니다. 본 논문에서는 다양한 장기 지평 위협에 대응하도록 설계된 새로운 방어 프레임워크인 ShadowMem을 제안합니다. 시스템 보안의 "섀도 스택(shadow stack)" 추상화에서 착안한 ShadowMem은 안전성에 초점을 맞춘 전용 에이전트 메모리를 유지하며, 에이전트의 전체 실행 궤적에 걸쳐 안전 관련 핵심 컨텍스트를 증류하여 보존합니다. 그리고 이 섀도 메모리를 활용하여 대기 중인 행동을 실행하기 전에 그 위험을 사전에 평가합니다. 폭넓은 평가 결과, ShadowMem은 다양한 장기 지평 위협에 대해 탐지 정확도에서 기존 방어 기법을 크게 능가하고, 대부분의 공격을 초기 단계에서 탐지하며, 에이전트의 유용성에는 무시할 만한 수준의 오버헤드만 추가하는 것으로 나타났습니다. 저자들이 아는 한, ShadowMem은 에이전트 메모리 접근 방식을 사용하여 장기 지평 위협을 탐지하고 완화하는 최초의 프레임워크로서, 이 중요한 과제에 대한 새로운 패러다임을 확립하고 향후 연구를 위한 유망한 방향을 제시합니다. 아티팩트는 https://github.com/ZJUWYH/ShadowMem 에서 확인할 수 있습니다.

arXiv:2609.26900v1cs.CR

Ajar: Measuring Open Privilege in Agent Defenses

A language model agent acts through the tools it is given. The data it reads while working on a task can redirect what it does with those tools. A growing set of techniques for safe and secure agent execution therefore sits between the agent and its tools, aiming to enforce access control, information flow or isolation at that boundary. Today these techniques are evaluated on agent-security benchmarks built around indirect prompt injection. Those benchmarks judge a defense by how far it brings the number of successful attacks down while preserving the agent's utility. A defense is judged only on the agent's execution. It can score well on both metrics while holding open a transfer, a deletion or a broad read that no task needed. Ajar measures that open privilege directly using the existing benchmarks. It attaches to an agent-security benchmark that already exists and reuses the tasks, tool schemas, reference solutions and goal states that benchmark uses to grade its own runs. For each benign task it builds candidate tool calls the task does not need, so allowing one is privilege left open. These calls are presented to the defense at every point where the agent could act. We evaluate Ajar by attaching it to AgentDojo, where open privilege becomes a third axis beside the existing attack success and benign utility. We run it on five defenses: Progent, CaMeL, AC4A, Permission Assistant, and Claude Code's Auto mode. We observed that they leave widely different amounts of privilege open. Two defenses leak by almost the same amount yet differ widely in the benign tasks they finish, and one defense buys part of its tightness by refusing calls its tasks were entitled to make. This open privilege cannot be derived from the measured attack success or benign utility. The source code of Ajar is available at https://github.com/reSHARMA/Ajar.

arXiv:2609.24662v1cs.AI

DUMA-Bench: LLM 에이전트 보안 평가를 위한 이중 제어 멀티에이전트 벤치마크

DUMA-Bench: A Dual-Control Multi-Agent Benchmark for Evaluating LLM Agent Security

LLM 기반 에이전트는 사용자, 도구, 외부 시스템과 상호작용하는 환경에서 점점 더 많이 운영되고 있다. 그러나 대부분의 보안 평가는 수동적인 사용자와 정적 제어를 가정하여, 실제 에이전트 행동을 형성하는 상호작용적 역학을 무시한다. 우리는 에이전트와 사용자 모두가 공유 환경 상태에 영향을 미칠 수 있는 이중 제어(dual-control) 상호작용 하에서 에이전트 보안을 측정하기 위한 벤치마크 및 평가 프로토콜인 DUMA-Bench를 소개한다. DUMA-Bench는 τ²-bench를 확장하여 RAG 오염, 크로스 에이전트 조작, 안전하지 않은 출력 처리를 포함한 8개의 취약점 클래스를 다루는 적대적 환경을 제공한다. 우리는 5개 모델 패밀리(OpenAI, Anthropic, DeepSeek, Qwen, Z.ai)에 속한 14개 모델을 8개 도메인과 다양한 사용자 행동 체제에 걸쳐 평가한다. 실험 전반에 걸쳐, 이중 제어 상호작용을 도입하면 공격 성공률이 26.9%에서 41.1%로 증가한다. 이러한 결과는 에이전트 보안이 모델만의 속성이 아니라 모델, 사용자, 환경 간의 상호작용에서 발생함을 보여준다. DUMA-Bench는 현실적인 에이전트 배포 환경에서 보안을 연구하기 위해 그동안 부재했던 평가 층을 제공한다.

arXiv:2609.23700v1cs.CR

에이전트가 커널이 될 때: AI-네이티브 운영체제로 가는 길에서의 보안 체계화

When the Agent Becomes the Kernel: A Systematization of Security on the Path to AI-Native Operating Systems

대규모 언어 모델(LLM) 에이전트는 이제 코드 저장소 편집, 받은편지함 운영, 구매 완료 등 결과에 큰 영향을 미치는 행동을 수행하는 특권 주체(principal)가 되었다. 그 권한은 커널급이지만, 고전적 시스템 보안이 요구하는—모든 접근에 개입하는 신뢰할 수 있는 중재자—는 없이 주어진다. 운영체제(OS) 벤더들은 이 사실상의 에이전트 커널을 중심으로 플랫폼을 재구축하고 있으며, 완전한 중재(mediation)를 설계 문제로 물려받고 있다. 우리는 이러한 시스템의 보안을 하나의 구분을 중심으로 체계화한다: 출처(provenance)에 대한 중재로 통과하는 경계는 결정론적 검사를 허용하는 반면, 콘텐츠 의미론(content semantics)에 대한 것은 그렇지 않다. 신뢰 경계(trust-boundary) 분류체계는 중재가 발생해야 하는 위치를 규정하고, 핵심 중재 격차를 두 종류의 의미론적 판단에 고립시킨다: 신뢰할 수 없는 입력에서 데이터와 지시(instruction)를 구별하는 것, 그리고 허가된 행동과 비허가 행동을 구별하는 것. 우리는 이 격차가 입력과 행동이 사전에 열거된 집합으로 제한되지 않는 모든 곳에서 감지되지 않은 공격의 환원 불가능한 잔존(residual)을 남긴다고 주장한다. 동일한 구분은 공격 성공 통계를 실행 가능하게 만들어, 각 수치를 배포 부채(건전한 결정론적 중재자가 사용되지 않은 경우)부터 구조적 격차(그러한 중재자가 알려지지 않은 경우)까지의 스펙트럼에 배치한다. 우리는 런타임 모니터링, 아키텍처 분리, 권한 부여(authorization)에 걸친 방어를 체계화하고, 현재 평가가 평가 타당성(evaluation-validity) 실패를 통해 배포된 보안을 과대평가하는 경향이 있음을 보인다. 마지막으로, 우리는 그 분석을 사실상의 커널을 넘어, 모델 자체가 중재 핵심(arbitration core)이 되는 아키텍처까지 확장하고, 보안 우선 AI-네이티브 OS를 위한 설계 제약, 미해결 과제, 연구 의제를 도출한다.

arXiv:2609.22961v1cs.CR

조직 경계를 넘는 에이전트적 신뢰: 구조적 외부화와 신뢰 증거를 위한 참조 모델

When Agentic Trust Crosses Organizational Boundaries: Structural Externalization and a Reference Model for Trust Evidence

에이전트 시스템은 점점 더 조직 경계를 넘어 도구, 서비스, 데이터 및 다른 에이전트를 호출하지만, 의존 당사자(relying party)는 위임된 행동을 생산 도메인의 통제와 기록만으로 평가할 수 없다. 본 논문은 신뢰할 수 있는 AI 거버넌스, 에이전트 보안, 분산 신뢰 관리, 신원(identity), 출처(provenance), 보증(assurance), 제어 평면(control-plane) 연구를 종합하여 서비스로서의 신뢰성(Trustworthiness as a Service, TaaS)을 정립한다. 분석 단위는 발행자(issuer), 대상(subject)과 행동(action), 의존 당사자, 행정 경계(administrative boundary), 증거 의존성(evidence dependencies), 불리한 조건(adverse condition), 그리고 요구되는 검증 또는 심사(adjudication) 의미론을 명명하는 교차 도메인 의존 명제(cross-domain reliance proposition)이다. 세 가지 조건의 구조적 외부화(structural-externalization) 진단은 여러 도메인에 의존하고, 생산자 독립적 의존(producer-independent reliance)을 요구하며, 철회, 실패, 상충하는 기록, 또는 분쟁 이후에도 검토 가능(reviewable)해야 하는 명제를 식별한다. 이러한 명제에 대해 논문은 신뢰 증거 봉투(trust-evidence envelope)를 규정한다: 변경 불가능한 워크플로 매니페스트를, 과제 범위 권한(task-scoped authority), 정책 및 실행 결정, 출처, 유효성, 공개(disclosure), 상태, 이의 제기(challenge), 복구(recovery)에 대한 발행자 귀속(issuer-attributed), 추가 전용(append-only) 증명(attestation)과 연결한다. 토폴로지 중립(topology-neutral) 논리 참조 모델은 이러한 기능을 명시적 역할과 신뢰 도메인(trust domain)에 배치한다. 세 가지 분석 시나리오와 TaaS-Eval 프로토콜 제안은 매니페스트, 독립 소비자(independent consumer), 하드 게이트(hard gate), 적대적 증거 시험(adversarial evidence test), 지표, 재현 가능한 산출물 보고를 정의한다. 신원, 권한 부여(authorization), 출처, 보증, 거버넌스 메커니즘을 경계가 있는 위임 행동(bounded delegated action) 주위로 구성함으로써 TaaS는 교차 도메인 의존을 위한 재사용 가능한 프로파일을 제공한다. 이는 증거 의존성, 독립 검증, 이의 제기, 복구를 명시화하여 상호운용 가능한 거버넌스와 생산자 주장을 근거 진실(ground truth)로 취급하지 않는 향후 평가를 지원한다.

arXiv:2606.30555v3cs.AI

Linguistic Firewall: Geometry as Defense in Multi-Agent Systems Routing

The rapid integration of Large Language Models (LLMs) has driven the evolution of Multi-Agent Systems (MAS), where specialized agents collaborate to execute complex workflows. Effective orchestration in these environments requires robust routing mechanisms to efficiently allocate tasks to the most suitable agent. However, existing routers fundamentally rely on unverified proxies, ranging from textual self-descriptions to static surrogate representations, to gauge an agent's competence. This reliance on non-empirical data creates a critical gap between an agent's projected profile and its actual operational capabilities, introducing severe security vulnerabilities. Malicious agents can easily misrepresent their proficiencies or harbor covert backdoors that evade both standard external analysis and static representation-learning techniques. In this work, we introduce ANTAP (Automatic Non-Textual Agent Picker), an evaluation-driven routing architecture that discards indirect proxies in favor of active capability testing. By dynamically querying agents to ascertain their true competencies empirically, ANTAP distills performance into fixed behavioral operators within a shared semantic space. At inference time, routing is performed via a purely non-textual algebraic projection, establishing a "linguistic firewall" that renders metadata-based attacks inexpressible. In our experiments, ANTAP achieves near-zero ASR against description-based injection attacks, compared to 67.3\% and above for the description-based router baseline. Against adaptive embedding attacks, ANTAP achieves substantially lower ASR than the embedding-based baseline, with a 20\% reduction, while remaining resilient to description manipulation by design.

arXiv:2607.22569v1cs.AI

소프트웨어 엔지니어링 파이프라인에서 코딩 에이전트를 위한 실행 기반 보안 테스트

Execution-Grounded Security Testing for Coding Agents in Software Engineering Pipelines

코딩 에이전트는 시스템 운영에 점점 더 통합되고 있으며, 이들의 도구 사용은 프로젝트 산출물, 실행 환경, 그리고 기본 시스템을 직접 수정할 수 있다. 예를 들어, 코딩 에이전트가 시스템 시작 또는 설정 스크립트에 후크(hook)를 삽입하면, 그 변경은 상호작용 이후에도 지속될 수 있고, 나중에 트리거될 수 있으며, 위임된 사용자 또는 시스템 권한을 악용하여 시스템을 수정할 수 있다. 이로 인해 보안 테스트는 시스템 문제가 된다. 핵심 질문은 에이전트가 무엇을 말하는지뿐만 아니라, 주변 환경에 실제로 무엇을 하는지이다. 우리는 도구 호출, 런타임 추적, 파일 시스템 diff를 포함한 관측 가능한 샌드박스 증거를 사용하여 이 실행 층 보안 경계를 탐색하는 실행 기반 레드팀 테스팅(red-teaming) 프레임워크를 제시한다. 우리 프레임워크는 대상 비안전 작업을 단위 테스트, 회귀 테스트, 크래시 재현, 검증을 포함한 일상적인 소프트웨어 엔지니어링 워크로드에 내장하고, 초기 프로브가 거부되거나 실패할 때 정제를 안내하기 위해 실행 오라클(execution oracle)을 사용한다. 여러 에이전트 프레임워크와 모델 백본에 걸쳐, 우리의 레드팀 워크로드 재구성은 검증된 비안전 실행을 실질적으로 증가시켜 코드 캐리어에서는 73.61%, 텍스트 캐리어에서는 53.93%에 달한다. 이러한 결과는 시스템 운영에서의 코딩 에이전트가 작업 위장(task disguise) 하에서 여전히 불안전함을 보여준다. 위험한 의도가 그럴듯한 엔지니어링 작업 안에 숨겨지면, 에이전트는 주변 시스템에서 비안전한 행동을 수행하도록 유도될 수 있다. 더 넓게 보면, 시스템 운영에서의 코딩 에이전트는 여전히 더 강력한 보안 테스트와 안전장치를 요구한다.

arXiv:2607.22445v1cs.AI

기업 AI 에이전트를 위한 동적 권한 범위 지정: 합성 데이터셋과 3원천 권한 아키텍처

Dynamic Capability Scoping for Enterprise AI Agents: A Synthetic Dataset and Three-Source Permission Architecture

기업 AI 에이전트는 일반적으로 구성 시점에 정적 자격 증명 집합이 부여되며, 수행하는 모든 작업에 대해 해당 역할이 필요할 수 있는 모든 도구를 보유한다. 이러한 지속적인 과도한 권한은 공격 표면을 확대한다. 우리는 권한 범위 지정(capability scoping)이 동적 최소 권한 원칙을 따라야 하며, 탐지 메커니즘보다 예방 메커니즘으로 취급되어야 한다고 주장한다. 에이전트의 컨텍스트에 존재하지 않는 자격 증명은 에이전트의 추론이나 회피 정교함과 관계없이 오용될 수 없다. 우리는 이 원칙을 구현하는 3원천 아키텍처를 개요한다: 역할 기반 상한, 작업 컨텍스트 분류기, 정책 기반 조합 금지가 LLM 에이전트의 정렬 실패(misalignment) 및 오용 사례에 대한 계층적 선제적 방어를 형성한다. 이 아키텍처는 강제(enforcing) 및 관찰 전용(observe-only) 배포를 모두 지원한다. 후자는 작업 컨텍스트와 일치하지 않는 에이전트의 권한 요청을 기록하여, 정렬 실패(misalignment) 연구에 활용할 수 있는 행동 신호를 생성한다. 이 아키텍처를 평가하기 위한 첫 단계로, 우리는 다부서 회사 정책에 기반한 600개의 기업 작업 프롬프트로 구성된 합성 데이터셋을 기여한다. 이 데이터셋은 배포 가능한 자격 증명 또는 강제 가능한 가드레일에 직접 매핑되는 15개 권한 도구 기반 분류 체계에 걸쳐 최소 필요 권한으로 라벨링되어 있다. 데이터셋은 순환성을 피하기 위해 프롬프트 생성과 권한 라벨링을 분리한 2단계 파이프라인으로 구성되며, 60개 레코드/688개 결정에 대한 인간 검토 샘플에 대해 검증되었다(Cohen's $κ= 0.917$ 사전 검토, $κ= 0.967$ 사후 검토). 데이터셋과 정책 간 반복 작업은 상한 위반을 46건에서 3건으로 줄였으며, 93% 감소를 달성했다. 이는 두 요소를 함께 개발할 때 합성 프롬프트 생성이 정책 개선을 이끌 수 있음을 보여준다. 데이터셋, 환경 명세, 생성 파이프라인은 동적 범위 지정 메커니즘의 평가를 지원하기 위해 공개된다.

arXiv:2607.22024v1cs.CR

전체적 프레임워크를 통한 에이전트 보안의 재정의

Agent Security Needs Redefinition through a Holistic Framework

에이전트 보안은 널리 행동 내용에 관한 문제로 다루어진다. 방어 기법은 지시가 악의적으로 보이는지를 묻고, 벤치마크는 에이전트가 해로운 것처럼 들리는 행동을 수행하는지를 묻는다. 우리는 에이전트 보안이 근본적으로 문맥적 문제이며, 현재의 내용 기반 프레이밍이 이를 체계적으로 잘못 정의한다고 주장한다. 「사용자 데이터 삭제」 명령은 일상적인 관리 요청일 수도 있고, 프로덕션 시스템을 공격하는 프롬프트 주입(prompt injection)일 수도 있으며, 내용만으로는 둘을 구분할 수 없다. 권한 부여(authorization) 문맥은 구분할 수 있다. AgentDojo와 WASP의 모든 주입 과제에서 동일한 행동은 인증된 사용자가 일상적인 워크플로에서 그럴듯하게 요청할 수 있는 것이며, 이는 내용을 통해 보안을 평가할 때 혼동이 구조적 속성이 됨을 만든다. 우리는 에이전트의 궤적(trajectory) 전반에 걸쳐 공동으로 성립해야 하고 지속적으로 평가되어야 하는 네 가지 속성을 통해 문맥적 보안을 운영화한다. 소스 권한 부여(Source Authorization)는 누가 명령을 발행했는지를 묻는다. 과제 정렬(Task Alignment)은 에이전트의 승인된 목표를 명시한다. 행동 정렬(Action Alignment)은 각 행동이 그 목표에 부합하는지를 평가한다. 데이터 격리(Data Isolation)는 권한 경계를 넘는 정보 흐름을 관리한다. 이러한 재프레이밍 하에서 간접 프롬프트 주입(indirect prompt injection)은 소스 권한 부여 위반이 된다. 스냅샷 벤치마크는 데이터 격리를 평가하는 데 구조적으로 능력이 없다. 기존 방어 기법은 실제로 근사하는 속성을 중심으로 재구성된다. 문맥적 재프레이밍은 어떤 방어 기법이 일관성 있는지, 어떤 평가가 유용한 것을 측정하는지, 그리고 평가가 어떤 공격 패턴을 전혀 볼 수 있는지를 바꾼다.

arXiv:2607.21835v1cs.CR

ToolGuardian: AI 에이전트-도구 상호작용을 위한 선언적 보안

ToolGuardian: Declarative Security for AI Agent-Tool Interactions

대규모 언어 모델(LLM) 에이전트는 외부 도구에 점점 더 의존하면서 능력은 확장되지만 새로운 보안 경계를 만들어낸다. 서드파티 도구는 인터페이스 수준에서는 무해해 보일 수 있지만 구현에는 안전하지 않은 동작이 내장되어 있을 수 있다. 기존 방어 기법은 약한 메타데이터에 의존하거나, 특성화(characterization)와 정책 판단을 단일 결정으로 축소하거나, 태스크 컨텍스트와 다중 도구 구성(composition)에 대한 결정론적이고 감사 가능한 추론이 부족한 휴리스틱/LLM 기반 집행을 사용한다. 본 논문은 사전 승인 심사(pre-admission vetting)와 태스크 인식 런타임 승인(task-aware runtime authorization)을 통해 에이전트-도구 상호작용을 보호하는 정책 기반 프레임워크인 ToolGuardian을 제안한다. ToolGuardian은 점진적 특성화(progressive characterization)를 사용해 증거를 구조화된 사실로 변환한다. 설명(description)은 선언된 의도를 포착하고, 시스템 호출(syscall) 추적은 거친 수준의 동작을 드러내며, 모의 실행(mock execution)은 관측된 효과를 밝히고, 소스 분석은 잠재(latent) 동작을 식별한다. ToolGuardian의 핵심 기여는 역량(capabilities), 효과(effects), 태스크 컨텍스트, 구성(composition)에 대해 명시적으로 추론하는 답 집합 프로그래밍(ASP) 기반 선언적 정책 층이다. 동일한 입력과 출력 계약을 사용하여 ASP를 휴리스틱 및 LLM 기반 정책 구현(realizations)과 비교한다. 16개의 MCP 스타일 도구(실제 오픈소스 도구에서 파생된 8개의 악성 변종 포함)와 20개의 런타임 시나리오에서 ToolGuardian을 평가한다. 심사(vetting)에서 ASP는 설명, syscall, 관측된 효과 증거를 사용하여 거부(deny) 클래스 F1 0.86과 88% 정확도를 달성한다. 런타임 승인에서는 완전히 명시된 구현이 모든 시나리오를 올바르게 분류하는 반면, ablation은 구성(compositional) 및 준수(conformance) 규칙을 제거하면 성능이 크게 저하됨을 보여준다.

arXiv:2607.19837v1cs.AI

Know Your Agent: 정찰 기반 AI 에이전트 침투 테스트

Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents

전통적인 침투 테스트는 각 단계에서 정찰을 통해 드러나지 않은 약점을 발견하고, 더 강력한 공격을 구축하며, 목표 달성을 앞당긴다. 우리는 AI 에이전트에도 동일한 대우가 필요하다고 주장한다. 우리는 에이전트 정찰을 프로세스를 모델링하고, 추출 대상 지식 자산이 무엇인지, 어떻게 사용되는지, 그리고 간접 프롬프트 주입 공격에서 적대자에게 어떤 에이전트 약점을 이용해 우위를 제공하는지를 밝힘으로써 형식화한다. 이러한 통찰을 Know Your Agent(KYA) 프레임워크에 구현했다. KYA는 에이전트를 탐색하고, 대상 프로필을 구축하며, 해당 프로필을 활용해 더 강력한 공격을 설계함으로써 블랙박스 정찰 기반 침투 테스트를 자동화한다. 우리는 에이전트 보안 벤치마크와 실제 코딩 에이전트에서 KYA를 평가했으며, 재현성을 위해 KYA, 해당 벤치마크, 기준선 구현을 공개한다.

arXiv:2607.19433v1cs.AI

Chronos 취약점: 에이전트형 AI에서의 시간적 지속성 및 메모리 기반 기만의 분류체계

The Chronos Vulnerability: A Taxonomy of Temporal Persistence and Memory-Based Deception in Agentic AI

인공지능에서 상태 비저장(stateless) 생성 모델에서 상태 저장(stateful) 자율 에이전트로의 전환은, 장기 계획 수립 능력과 기업 워크플로 자동화라는 역량을 제공하는 동시에 Chronos 취약점이라는 새로운 형태의 보안 위협을 도입하는 아키텍처적 진화를 나타낸다. Chronos 취약점은 메모리 주입 공격(MINJA)과 잠복 에이전트(sleeper agent) 등 메모리 기반 공격의 위협을 나타내며, 이 공격들에서는 자율 에이전트의 내부 신념 체계가 손상되어 공격 벡터가 최종적 치명적 사건과 효과적으로 분리된다. 본 연구는 지속성 기반 공격에 대한 위협 모델과 World of Workflows 벤치마크 맥락에서의 Dynamics Blindness 위협을 형식화하고, 기존 엔드포인트 콘텐츠 필터가 현재의 상태 저장 아키텍처에 불충분함을 보여준다. 이에 따라 본 연구는 심층 방어(defense-in-depth) 환경을 종합하여, 진단적 궤적 가드레일(AgentDoG), 형식적 시간적 검증(Agent-C), 면역학적 메모리 합의(A-MemGuard), GPU 기반 신뢰 실행 환경(TEE) 및 Zero-Trust 메모리 아키텍처를 통한 하드웨어 기반 신뢰와 같은 신흥 프레임워크를 분류한다.

arXiv:2607.19432v1cs.CR

ChainWatch: MCP 기반 AI 에이전트 시스템의 다단계 공격을 위한 킬 체인 정렬 순차 탐지 프레임워크

ChainWatch: A Kill Chain-Aligned Sequential Detection Framework for Multi-Step Attacks in MCP-Based AI Agent Systems

Model Context Protocol(MCP)는 AI 에이전트가 외부 도구, 데이터베이스, 서비스에 연결할 수 있게 하는 오픈소스 표준이다. 이러한 연결성은 강력한 에이전트 기능을 가능하게 하지만, 기존의 호출 단위(per-call) 방어 체계로는 신뢰성 있게 탐지할 수 없는 다단계 공격도 함께 유발한다. 공격자는 개별적으로는 무해한 도구 호출들을 조합하여, 독립된 검사를 우회하는 악성 시퀀스를 구성할 수 있다. 본 논문은 MCP 기반 AI 에이전트 시스템에서 다단계 공격을 식별하기 위한 순차 탐지 프레임워크인 ChainWatch를 제시한다. ChainWatch는 6단계 킬 체인을 사용해 공격 진행을 모델링하고, 도구 호출 시퀀스를 분류하기 위해 은닉 마르코프 모델(HMM)을 적용한다. 세션이 여러 단계에 걸쳐 의심스러운 진행을 보일 때 탐지 규칙이 트리거된다. 이 프레임워크는 직접적 순차 공격, 간접 프롬프트 주입 체인, 하이브리드 다단계 공격을 포괄하는 구조화된 위협 모델을 기반으로 한다. 20차원 특징 추출 스키마가 도구 상호작용으로부터 행동 신호를 포착한다. 보안 문헌의 5가지 대표적 공격 시나리오를 사용해 이 접근법을 시연하며, ChainWatch가 기존 호출 단위 보안 메커니즘을 우회하는 공격 체인을 어떻게 탐지하는지 보여준다.

arXiv:2607.13081v1cs.CR

SingGuard-NSFA: 생성적 추론과 실시간 분류를 통한 에이전트형 AI용 확장 가능한 가드레일

SingGuard-NSFA: Extensible Guardrails for Agentic AI via Generative Reasoning and Real-Time Classification

본 논문에서는 nsfaguard를 제시한다. 이는 프롬프트 인젝션, 민감 정보 추출, 악성 코드 요청, 위험한 도구 오용, 리소스 고갈 등 운영상 위협으로부터 에이전트형 AI 시스템을 보호하기 위한 가드레일 프레임워크이다. 먼저 NSFA 분류 체계를 소개하는데, 185개 위험 변형을 CIA 3요소 기반 계층 구조로 조직화하며 세 가지 잘 확립된 OWASP 가이드라인과 교차 검증하였다. 이 분류 체계를 바탕으로 133개 언어에 걸친 벤치마크 스위트를 구축하였으며, 사용자 쿼리와 에이전트 응답을 모두 겨냥한 9만 3천 개 이상의 목적 제작 샘플과 다섯 개의 공개 에이전트 보안 데이터셋에서 채택한 3,435개 교차 출처 샘플로 구성된다. 실제로 이러한 운영 위협을 탐지하기 위해, 해석 가능한 오프라인 감사를 위한 SFT 기반 생성적 추론과 고정 백본 위의 판별적 분류 헤드를 결합한 이중 모드 접근법을 개발하여 약 50ms의 실시간 탐지를 가능하게 하였다. 0.8B, 2B, 4B, 9B 파라미터의 네 가지 모델을 공개하며, 모두 목적 제작 벤치마크에서 F1 94% 이상을 달성하고 가장 강력한 경쟁 가드레일보다 6~12 절대 포인트를 상회한다. 교차 출처 평가에서 9B 모델은 보다 균형 잡힌 정밀도-재현율 트레이드오프로 91.29% F1을 달성한다. 또한 ablation 실험은 분류 헤드가 가드레일에 원래 범위를 넘는 위험 탐지 능력을 부여하고 최첨단 성능을 달성할 수 있음을 보여준다. 이러한 결과는 본 접근법의 확장성과 플러그인 강화로서의 범용성을 입증한다.

arXiv:2607.08395v1cs.CR

Token-Flow Firewall: 지속형 AI 에이전트를 위한 시맨틱 런타임 감사

Token-Flow Firewall: Semantic Runtime Auditing for Persistent AI Agents

지속형 AI 에이전트에서 메모리 업데이트, 도구 인자, 컴포넌트 간 통신 등 자연어 토큰 흐름을 통해 전파되는 보안 위협을 실행 전 단계에서 차단하기 위해, TokenWall이라는 시맨틱 방화벽 프레임워크를 제안한다. CIK-Bench 실험에서 TokenWall은 공격 성공률을 12.5%로 낮추면서 정상 실행 통과율 97.4%와 정상 케이스 기준 추가 지연 0.69초를 달성하여 실용적인 보안-효용 트레이드오프를 입증하였다.