PACE: 도구를 사용하는 LLM 에이전트를 위한 출처 인지 역량 강제
PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents
한국어 초록
도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 생성된 텍스트를 실제 부작용(side effect)으로 전환하므로, 오염된 도구 메타데이터, 검색된 페이지, 메모리 및 재사용 가능한 스킬이 다음 도구 호출을 유도할 수 있습니다. 승인(admission) 전에 아티팩트를 검증하는 것만으로는 이 문제를 해결하지 못합니다. 안전한 변형과 유출 변형이 동일한 승인 증거를 생성할 수 있어, 건전한 게이트라도 둘 중 어느 쪽에 대해서도 해당 지점의 검사를 완화할 수 없습니다. 본 연구에서는 이러한 조건을 정밀하게 정의하여, 배포 환경에서 여전히 조치를 취할 수 있는 마지막 경계를 남깁니다. 본 논문에서는 모든 도구 호출이 실행되기 직전에 이를 중재하는 출처 인지 역량 강제(PACE, Provenance-Aware Capability Enforcement)를 제안합니다. 경로 제한(Path confinement)은 표현된 영향 경로의 실행 가능한 컷을 제안하며, 역량 및 효과 검증은 인증된 요청으로부터 컴파일된 권한과 스키마에 정의된 효과를 대조하여 확인합니다. 제안된 차단 이후 인가된 호출을 복원하거나 선언된 복구를 적용할 수 있는 평가 구성과 인증된 실행 계약을 구분합니다. 제한 메커니즘은 최종 동작이 인증된 컷을 보존하도록 요구합니다. 3개 타깃 모델 군을 사용한 8개의 실행 가능한 에이전트 보안 벤치마크에서, 평가 구성은 적격 공격 항목 79개 중 62개에서 완전히 가장 낮은 공격 성공률을 기록했고 14개에서 동률을 달성했습니다. 전체 벤치마크 고유 유용성(native utility)은 방어되지 않은 에이전트 대비 최대 3포인트만 손실되었습니다. 1,167개 쌍체 사례에 대한 완전한 어블레이션 분석 결과, 대부분의 보안 향상은 효과 검증에, 거절 제어는 경계 적응에 기인하는 것으로 나타났습니다. 축소된 규모의 적응형 탐색 결과, 방어 체계에 맞선 권한 외(out-of-authority) 타깃 30개 중 0개에서만 성공했습니다.
원문 초록
Tool-using large language model (LLM) agents turn generated text into real side effects, so poisoned tool metadata, retrieved pages, memory, and reusable skills can steer the next call. Vetting an artifact before admission does not settle this. A safe variant and a leaking variant can produce the same admission evidence, and a sound gate then cannot relax that site for either. We make that condition precise, which leaves the last boundary a deployment can still act on. We present Provenance-Aware Capability Enforcement (PACE), which mediates every tool call immediately before it executes. Path confinement proposes an executable cut of represented influence paths, while capability and effect verification checks schema-defined effects against authority compiled from the authenticated request. We distinguish the certified execution contract from the evaluated configuration, which can restore an authorized call after a proposed block or apply a declared repair. Confinement requires the final action to preserve the certified cut. On eight executable agent-security benchmarks with three target-model families, the evaluated configuration gives strictly lowest attack success in 62 of 79 eligible attack columns and ties in 14; full-benchmark native utility loses at most three points relative to the undefended agent. A complete ablation over 1167 paired cases attributes most security gains to effect verification and refusal control to boundary adaptation. A reduced-scale adaptive search succeeds on 0/30 out-of-authority targets against the defense.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
스킬 체이닝을 통한 LLM 에이전트 하이재킹
Chaining Skills to Hijack LLM Agents
대규모 언어 모델(LLM) 에이전트는 특화된 작업의 성능을 향상하기 위해 스킬(skill)을 활용합니다. 에이전트는 사용자의 요청을 완료하기 위해 여러 스킬을 순차적으로 호출할 수 있으며, 이로 인해 한 스킬에서 생성된 정보가 다음 스킬을 안내하게 됩니다. 스킬은 오픈소스 저장소에서 가져올 수 있으므로, 이러한 정보 전달 과정에서 공격자가 제어하는 주장이 이후의 결정으로 이어질 수도 있습니다. 본 논문에서는 사용자 작업 및 공격자가 선택한 작업에 맞춰 적대적 스킬 체인을 구축하고 정제하는 APEX를 소개합니다. 핵심 통찰은 실제 작업 진행 상황에 대해 에이전트가 작성한 기록이 여러 스킬에 걸쳐 사용자 승인에 대한 거짓 주장을 전달할 수 있다는 점입니다. 즉, 상류(upstream) 스킬이 에이전트로 하여금 해당 기록을 생성하도록 유도하고, 하류(downstream) 스킬은 이를 활용하여 공격자가 선택한 작업을 지시합니다. SkillsBench의 4가지 표적 행동군과 6개 모델에 걸쳐 평가한 결과, 이러한 체인은 690회 시도 중 512회(74.2%)에서 선택된 작업을 유도했습니다. GPT-5.4의 경우, 전체 체인은 워크플로가 단일 스킬로 병합되었을 때의 17.4%와 비교하여 84.3%의 시도에서 성공했습니다. 나아가 스킬이 생성한 파일을 원본 요청과 대조하여 확인하도록 에이전트에게 요청하는 프롬프트 기반 방어 기법을 평가했습니다. GPT-5.4에서 이 방어는 표적 행동 성공률을 84.3%에서 59.1%로 낮추었으나, 72개의 정상 네이티브 스킬 작업에 대한 검증기 테스트 통과율 또한 86.7%에서 56.3%로 떨어졌습니다. 이러한 결과는 정당한 작업 성능을 보존하면서도 공격자가 지시한 작업을 방지하는 방어책의 필요성을 강조합니다.
APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가
APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces
전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.
거짓 예언자: 에이전트 시스템 내 월드 모델의 보안성에 대하여
False Prophets: On the Security of World Models in Agentic Systems
대규모 언어 모델(LLM)은 이제 다양한 환경에서 복잡한 다단계 작업을 수행할 수 있는 자율 에이전트의 기반이 되고 있습니다. 이러한 작업을 정확하고 안정적으로 수행하려면 에이전트가 자신의 행동 결과를 예측해야 합니다. 최근 연구에서는 특별히 학습된 환경 시뮬레이터인 월드 모델(world model)을 통해 이러한 예측 능력을 향상시킬 것을 제안합니다. 월드 모델은 성능을 향상시킬 수 있지만, 에이전트가 유해한 행동을 실행하도록 오도하여 심각한 보안 및 개인정보 보호 위험을 초래할 수도 있습니다. 본 논문에서는 에이전트 시스템에서 월드 모델을 사용하는 것에 대한 보안 우려를 제기합니다. 저자들은 터미널 기반 에이전트에서 악성 코드를 실행하거나 민감한 데이터를 탈취하는 데 악용될 수 있는 월드 모델 특화 취약점들을 발견했습니다. 향후 발전을 촉진하기 위해 텍스트 기반 월드 모델용으로 설계된 보안 벤치마크 데이터셋을 소개합니다. 저자들은 일부 위험이 근사 월드 모델링(approximate world modeling)에 내재되어 있다고 주장하며, 공격자가 에이전트 파이프라인에서 최대 95%의 성공률로 오예측을 유도할 수 있음을 보입니다. 이는 의도치 않은 명령어 실행, 서비스 거부(DoS), 지갑 자금 유출 및 개인정보 탈취로 이어질 수 있습니다. 마지막으로, 발견된 위해를 완화하고 에이전트 시스템을 강화하기 위해 실무자를 위한 실용적인 권장사항을 제시합니다.
Ajar: Measuring Open Privilege in Agent Defenses
ActGov: 정책 제약 검증을 통한 LLM 에이전트 행동 거버넌스
ActGov: Governing LLM Agent Actions via Policy-Constrained Validation
대규모 언어 모델(LLM) 에이전트는 외부 도구를 통해 장기적인(long-horizon) 워크플로우를 점점 더 많이 실행하고 있으며, 이로 인해 신뢰할 수 없는(untrusted) 출력이 이후 행동에 영향을 미치고 사용자 권한을 초과하도록 허용될 수 있다. 기존 방어 기법들은 주입된 콘텐츠를 격리하거나 사전 정의된 계획과 정적 정책으로 실행을 제한하지만, 이러한 접근 방식은 동적 워크플로우에서는 취약하며 확장 가능한 도구 생태계 전반에 걸쳐 잘 확장되지 않는다. 본 연구에서는 LLM이 제안한 각 도구 행동이 외부 효과를 유발하기 전에 이를 검증하는 런타임 강제(enforcement) 프레임워크인 ActGov를 제시한다. 권한(authorization), 행동(action), 런타임 컨텍스트, 보안 제약 조건에 대한 통합된 의미론적 모델을 기반으로, ActGov-Policy 컴포넌트는 도구 명세(specification), 정상(benign) 작업, 관찰된 실패 흔적(trace)으로부터 정책 집합을 반복적으로 구성하며, 각 업데이트는 SMT 기반 반례(counterexample) 검사를 통해 검증된다. 런타임에서 ActGov-Runtime은 각 도구 호출을 유한한 정책 레코드로 추상화하고, 이 호출이 작업 범위 내(task-scoped) 권한 경계를 벗어나지 않고 적용 가능한 모든 정책을 만족하는 경우에만 이를 허용한다. 이러한 행동 단위(per-action)의 강제 방식은 장기적이고 동적으로 분기하는 워크플로우 전반에 걸쳐 권한을 유지한다. 우리는 AgentDojo 및 AgentDyn 벤치마크에서 여러 모델과 공격 구성에 걸쳐 ActGov를 평가하였다. 그 결과 ActGov는 작업 유용성(task utility)을 유지하면서 간접 프롬프트 주입(indirect prompt-injection) 공격의 성공률을 일관되게 감소시켰으며, 기존 방어 기법들을 크게 상회하는 성능을 보였다. 이러한 결과는 ActGov가 기반 LLM이 악의적인 지시를 올바르게 식별하는 데 의존하지 않고도 동적인 에이전트 실행에 대해 세밀한(fine-grained) 권한을 강제할 수 있음을 보여준다.
LLM-에이전트 시스템 안전을 위한 1급 원칙으로서의 격리: 개념, 분류 체계, 과제 및 향후 연구 방향
Isolation as a First-Class Principle for LLM-Agent System Safety: Concepts, Taxonomy, Challenges and Future Directions
LLM 에이전트가 시스템의 '두뇌' 역할을 할 수 있다는 능력은 분석 범위를 단독 모델을 넘어 근본적으로 확장한다. 따라서 안전성은 더 이상 입력-출력 콘텐츠 정렬만의 문제가 아니다. 시스템 행동과 실세계 실행 결과도 다룬다. 그러나 현재 문헌은 공격 유형, 응용, 벤치마크에 걸쳐 파편화되어 있다. 이로 인해 프롬프트 인젝션, 도구 오용, 메모리 포이즈닝과 같은 실패가 왜 종종 동일한 구조적 원인을 공유하는지, 그리고 이것이 에이전트 워크플로를 통해 어떻게 확산되는지 설명하기 어렵다. 본 서베이에서는 LLM-에이전트 시스템 안전에 대해 격리를 1급 원칙으로 취급한다. 여기서 격리란 사용자 입력, 도구 접근, 실행 채널, 에이전트 간 통신, 환경 기원 컨텍스트의 분리를 가리킨다. 우리는 다섯 가지 경계—사용자-에이전트, 에이전트-도구, 에이전트-실행, 에이전트-에이전트, 시스템-환경—에 대한 경계 중심 분류 체계로 문헌을 정리한다. 이 관점은 격리 손실이 처음 발생하는 지점, 침해가 경계를 가로질러 어떻게 전파되는지, 각 인터페이스에서 어떤 방어가 가장 관련 있는지 파악하는 데 도움이 된다. 또한 경계 간 실패 경로를 요약하고, 미해결 과제를 논의하며, 향후 에이전트 시스템에서 구축 시 격리(isolation-by-construction)를 위한 연구 의제를 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.